[論文レビュー] Vid2speech: Speech Reconstruction from Silent Video

Ariel Ephrat, Bezalel Peleg|arXiv (Cornell University)|Jan 2, 2017

Speech and Audio Processing参考文献 13被引用数 8

ひとこと要約

本論文では、手作業による特徴工学を回避し、顔全体の視覚的特徴を直接学習することで、静止映像フレームから聞き取り可能な音声を再構築するエンド・ツー・エンドのCNNベースのモデルを提案する。モデルはGRIDデータセットで最先端の単語の聞き取りやすさを達成し、LPCおよびLSP表現を用いた回帰ベースの音声特徴予測により、未知語彙（OOV）語の再構築についても有望な結果を示している。

ABSTRACT

Speechreading is a notoriously difficult task for humans to perform. In this paper we present an end-to-end model based on a convolutional neural network (CNN) for generating an intelligible acoustic speech signal from silent video frames of a speaking person. The proposed CNN generates sound features for each frame based on its neighboring frames. Waveforms are then synthesized from the learned speech features to produce intelligible speech. We show that by leveraging the automatic feature learning capabilities of a CNN, we can obtain state-of-the-art word intelligibility on the GRID dataset, and show promising results for learning out-of-vocabulary (OOV) words.

研究の動機と目的

• 手作業による特徴工学に依存せずに、静止映像から音声を再構築するエンド・ツー・エンドのディープラーニングモデルの開発。
• 口元領域ではなく顔全体の視覚入力を用いることで、時間的文脈を活用し、視覚的音声認識の聞き取りやすさを向上。
• 分類タスクではなく回帰問題として音声読み取りをモデル化することにより、トレーニング時に見つけていない未知語彙（OOV）語の再構築を可能にする。
• 生動画フレームを用いた畳み込みニューラルネットワークによる、音声再構築に向けた強力な視覚的表現の学習の可能性を示す。

提案手法

• モデルは、連続する静止映像フレームから空間的・時間的特徴を抽出するために3次元畳み込みニューラルネットワーク（3D-CNN）を用い、発音の動的変化を捉えるために顔全体を処理する。
• 音声特徴は8次元の線形予測符号化（LPC）を用い、その後、線スペクトル対（LSP）分解を施し、40msごとのフレームごとに9次元のベクトルを生成する。
• 2つの連続するLSPベクトルを連結することで、18次元の特徴ベクトル $ S_i \in \mathbb{R}^{18} $ を形成し、回帰のターゲットとして用いる。
• 予測されたLSP特徴から無声励起を用いて波形を合成することで、視覚入力からの聞き取り可能な音声の再構築を可能にする。
• 予測されたLSP特徴と正解値との間の回帰損失を用いてエンド・ツー・エンドで訓練することで、生音声からの自然な教師信号を得る。
• 重複する固定長の動画クリップを使用することで、時間的文脈を保持し、発音の遷移をモデル化し、視覚的発音（ビジーム）の曖昧さを解消できる。

実験結果

リサーチクエスチョン

• RQ1 手作業による視覚的特徴を用いずに、CNNベースのエンド・ツー・エンドモデルが静止映像フレームから聞き取り可能な音声を再構築できるか？
• RQ2 口元領域ではなく顔全体を用いることで、音声再構築性能が顕著に向上するか？
• RQ3 視覚データに基づいてトレーニングされた回帰ベースのモデルが、トレーニング時に見つけていない未知語彙（OOV）語を再構築できるか？
• RQ4 単語の聞き取りやすさおよび未知語彙への耐性という観点から、先行研究と比較して本モデルの性能はどの程度か？

主な発見

• S4という話者に対してテストした結果、音声のみの条件では82.6%、音声・視覚併用の条件では79.9%の単語の聞き取りやすさを達成し、先行研究を顕著に上回った。
• 口元領域ではなく顔全体を用いることで、テスト誤差が40%削減された。これは、包括的な顔の特徴学習の重要性を示している。
• 全語彙に対する音声・視覚クリップでは51.9%の聞き取りやすさを達成し、語彙内語の再構築性能が優れていることを示した。
• OOV語の再構築に関しては、聴取者が訓練データにない数字を正しく特定する確率が、ランダムな当てずっぽうより5.16倍高かった。これは一般化への可能性を示している。
• 別の話者（S2）に対してテストした結果、79%の聞き取りやすさを維持した。これは、話者間での一般化性能が優れていることを確認した。
• 結果から、エンド・ツー・エンド学習によるCNNを用いたアートキュレーションから音声へのマッピングが、未学習の単語に対しても、時間的および空間的視覚パターンの区別を学習することで、効果的に可能であることが示された。