[論文レビュー] Self-supervised Learning of Visual Speech Features with Audiovisual Speech Enhancement.

Zakaria Aldeneh, Anushree Prasanna Kumar+5 more|arXiv (Cornell University)|Apr 25, 2020

Speech and Audio Processing参考文献 20被引用数 5

ひとこと要約

本論文は、音声品質を向上させるために視覚特徴を活用する自己教師あり音声視覚語りかけ強調モデルを提案しており、モデルが高レベルの発話活動検出および詳細な発音情報の両方を学習していることが明らかになった。学習された視覚埋め込みは、追加の教師なし学習を必要とせずに、視覚的語りかけ応用において有効であることが示された。

ABSTRACT

We present an introspection of an audiovisual speech enhancement model. In particular, we focus on interpreting how a neural audiovisual speech enhancement model uses visual cues to improve the quality of the target speech signal. We show that visual features provide not only high-level information about speech activity, i.e. speech vs. no speech, but also fine-grained visual information about the place of articulation. An interesting byproduct of this finding is that the learned visual embeddings can be used as features for other visual speech applications. We demonstrate the effectiveness of the learned visual representations for classifying visemes (the visual analogy to phonemes). Our results provide insight into important aspects of audiovisual speech enhancement and demonstrate how such models can be used for self-supervision tasks for visual speech applications.

研究の動機と目的

• 視覚的ヒントがニューラル音声視覚語りかけ強調モデルでどのように活用されているか、音声品質の向上に寄与する仕組みを調査すること。
• このようなモデルが学習する視覚表現の性質を分析し、特に発音の詳細な情報（発音部位など）を捉え込んでいるかどうかを検証すること。
• これらの学習済み視覚特徴が、下流の視覚的語りかけ認識タスクにどの程度転送可能かを評価すること。
• 自己教師ありの視覚的語りかけ表現が、視覚的語りかけ分類に効果的に利用可能であることを示すこと。

提案手法

• 著者らは、音声と映像のペア入力を用いて、ノイズ混在入力から綺麗な音声を再構築する目的で、ニューラル音声視覚語りかけ強調モデルを学習した。
• モデルの各層における視覚特徴の寄与度を解釈するために、レイヤーワイズ関連性プロパゲーション（LRP）を実行した。
• 学習済みモデルから視覚特徴を抽出し、それを下流の視覚的語りかけ分類ヘッドの入力として用いた。
• 学習済み視覚表現の質を評価するために、視覚的語りかけ分類ベンチマークでモデルを評価した。
• 分析の焦点は、視覚特徴が発話の有無を示すだけでなく、発音部位のような発音の詳細情報も符号化しているかどうかを特定することにあった。

実験結果

リサーチクエスチョン

• RQ1 視覚特徴は、音声視覚ニューラルモデルにおいてどのように語りかけ強調に寄与しているか？
• RQ2 モデルが学習する視覚表現に含まれる情報は、広範な情報か、詳細な情報か？
• RQ3 語りかけ強調を通じて学習された視覚特徴は、他の視覚的語りかけタスクに転送可能か？
• RQ4 学習済み視覚特徴は、発音部位のような発音の詳細情報をどの程度捉え込んでいるか？

主な発見

• モデルは、発話と非発話の区別に加え、発音部位に関する詳細な情報を符号化する視覚特徴を学習している。
• 音声視覚強調モデルから抽出した視覚特徴は、視覚的語りかけ分類タスクで優れた性能を示しており、その表現の質の高さが裏付けられている。
• 追加の訓練や教師信号を必要とせず、これらの視覚表現が下流の視覚的語りかけタスクに有効に機能することが示された。
• 分析の結果、視覚的ヒントが洗練された方法で活用されており、信号品質の向上と発音の詳細の回復の両方に寄与していることが明らかになった。