[論文レビュー] Multi-modality Associative Bridging through Memory: Speech Sound Recollected from Face Video

Minsu Kim, Joanna Hong+2 more|arXiv (Cornell University)|Apr 4, 2022

Speech and Audio Processing被引用数 8

ひとこと要約

本稿では、ソース・キー記憶とターゲット・バリュー記憶にモダリティ固有の表現を格納し、関連的ブリッジを用いて視覚入力からの音声の再取得を可能にする、メモリ拡張型マルチモーダルフレームワークを提案する。この手法は、共通の潜在空間を必要とせず、再取得された音声文脈を活用することで、リップリーディングおよびサイレント動画からの音声再構築において最先端の性能を達成する。

ABSTRACT

In this paper, we introduce a novel audio-visual multi-modal bridging framework that can utilize both audio and visual information, even with uni-modal inputs. We exploit a memory network that stores source (i.e., visual) and target (i.e., audio) modal representations, where source modal representation is what we are given, and target modal representations are what we want to obtain from the memory network. We then construct an associative bridge between source and target memories that considers the interrelationship between the two memories. By learning the interrelationship through the associative bridge, the proposed bridging framework is able to obtain the target modal representations inside the memory network, even with the source modal input only, and it provides rich information for its downstream tasks. We apply the proposed framework to two tasks: lip reading and speech reconstruction from silent video. Through the proposed associative bridge and modality-specific memories, each task knowledge is enriched with the recalled audio context, achieving state-of-the-art performance. We also verify that the associative bridge properly relates the source and target memories.

研究の動機と目的

• 単モダリティタスクにおける情報不足の課題に対処し、視覚入力のみでもマルチモーダル知識の強化を可能にする。
• 既存の統合法および共通表現手法における音声・視覚学習の限界、特に異種モダリティの整合性の難しさを克服する。
• モダリティ固有の表現を維持しつつ、関連的ブリッジを介したクロスモダリティ検索を可能にするフレームワークを設計する。
• リップリーディングやサイレント動画からの音声再構築といった実世界の応用分野における有効性を実証する。

提案手法

• フレームワークは二重記憶アーキテクチャを採用し、ソース・キー記憶に視覚特徴、ターゲット・バリュー記憶に音声特徴をペア形式で格納する。
• ソース・キー記憶とターゲット・バリュー記憶の間で関連的ブリッジを学習し、視覚表現をキーとしてターゲット記憶を照会可能にする。
• メモリネットワークにより、推論時において視覚入力のみから音声を再取得可能となり、視覚入力に文脈的な音声情報を付加する。
• モダリティ固有の埋め込みモジュールを用いて視覚および音声特徴を独立して符号化し、それぞれの特徴表現を保存する。
• 注意に基づくアドレッシングにより、ソースとターゲット記憶を直接接続することで、共通の潜在空間の学習を回避する。
• システムはペアド音声・視覚データ上でエンド・ツー・エンドに訓練され、関連的ブリッジが視覚クエリと関連する音声メモリスロットを適切に一致させるように最適化される。

実験結果

リサーチクエスチョン

• RQ1 共通の潜在空間を必要とせずに、メモリベースのフレームワークが音声と視覚モダリティを効果的にブリッジできるか。
• RQ2 視覚入力のみで再取得された音声文脈を活用することで、リップリーディングや音声再構築といった後続タスクの性能がどの程度向上するか。
• RQ3 ソースとターゲット記憶の間の関連的ブリッジが、異なる発話者や発音形態に対しても意味的なクロスモダリティ整合性を実現できるか。
• RQ4 共通表現学習や早期/後期統合に依存する従来手法と比較して、本手法がどの程度優れているか。
• RQ5 注意アドレッシングベクトルは、類似した発音内容（同じ発音）と異なる発音内容の間で、視覚から音声への再取得の意味的整合性をどの程度反映しているか。

主な発見

• 提案フレームワークは、LRWデータセットにおいて85.41％のワードレベルリップリーディング精度を達成し、ベースラインおよび共通表現ベース手法を上回る最先端の性能を示した。
• サイレント動画からの音声再構築において、視覚的ヒントとメモリベースの音声再取得を活用することで、発音的に正確な音声を効果的に回復できた。
• t-SNE可視化により、視覚入力から再取得された音声表現が実際の音声表現と密接に一致していることが確認され、効果的なクロスモダリティ転送が実現していることが示された。
• 異なる発話者間で類似した発音に対して、注意アドレッシングベクトルの類似度が高く、一貫性のある関連的ブリッジが学習されていることが示された。
• 共通の潜在空間に依存するクロスモダリティ適応や知識蒸留手法よりも優れた性能を示し、関連的ブリッジを備えたモダリティ固有メモリの利点を実証した。
• 可視化により、関連的ブリッジが発話者にかかわらず、視覚入力を意味的に関連する音声メモリスロットにマッピングする能力を学習していることが確認された。