[論文レビュー] Does Visual Self-Supervision Improve Learning of Speech Representations?

Abhinav Shukla, Stavros Petridis+1 more|arXiv (Cornell University)|May 4, 2020

Speech and Audio Processing参考文献 30被引用数 5

ひとこと要約

本論文は、顔再構成を用いた視覚的自己教師あり学習を通じて音声表現学習を改善することを調査し、音声のみの自己教師あり学習手法を2つ提案し、視覚的および音声的自己教師あり学習を組み合わせることで、より豊かでより頑健な会話表現が得られることを示している。特に小規模データセットにおいて、最先端の性能を達成している。

ABSTRACT

Self-supervised learning has attracted plenty of recent research interest. However, most works are typically unimodal and there has been limited work that studies the interaction between audio and visual modalities for self-supervised learning. This work (1) investigates visual self-supervision via face reconstruction to guide the learning of audio representations; (2) proposes two audio-only self-supervision approaches for speech representation learning; (3) shows that a multi-task combination of the proposed visual and audio self-supervision is beneficial for learning richer features that are more robust in noisy conditions; (4) shows that self-supervised pretraining leads to a superior weight initialization, which is especially useful to prevent overfitting and lead to faster model convergence on smaller sized datasets. We evaluate our audio representations for emotion and speech recognition, achieving state of the art performance for both problems. Our results demonstrate the potential of visual self-supervision for audio feature learning and suggest that joint visual and audio self-supervision leads to more informative speech representations.

研究の動機と目的

• 顔再構成を用いた視覚的自己教師あり学習が、音声表現学習を向上させるかどうかを検証すること。
• 会話表現学習のための2つの新しい音声のみの自己教師あり学習手法を開発すること。
• 視覚的および音声的自己教師あり学習を組み合わせることで、特徴の品質と頑健性が向上するかを評価すること。
• 自己教師あり事前学習が、特に小規模データセットにおいて、より良いモデル初期化をもたらすかどうかを評価すること。
• 会話および感情認識タスクにおいて、最先端の性能を達成すること。

提案手法

• 音声駆動の視覚的特徴から顔を再構成するタスクを視覚的自己教師あり学習信号として用い、音声表現学習をガイドする。
• 視覚データを必要としない音声のみの自己教師あり学習目的を2つ提案し、会話表現学習を向上させる。
• 視覚的および音声的自己教師あり学習をマルチタスク学習フレームワーク内で統合し、音声表現を同時に最適化する。
• 提案された自己教師あり学習信号を用いて、対照的学習の目的関数を用いて音声エンコーダーを事前学習する。
• 事前学習された音声表現を、下流の会話認識および感情認識タスクで微調整する。
• 共通のエンコーダー構造とモodal別ヘッドを用いて、視覚的および音声的信号の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 顔再構成を用いた視覚的自己教師あり学習は、学習された音声表現の品質を向上させることができるか？
• RQ2 提案された音声のみの自己教師あり学習手法は、視覚的自己教師あり学習と比較して、表現の品質においてどのように異なるか？
• RQ3 視覚的および音声的自己教師あり学習を組み合わせることで、より頑健で汎用性の高い会話表現が得られるか？
• RQ4 自己教師あり事前学習は、特に小規模データセットにおいて、モデルの収束性および汎化性能をどの程度向上させるか？
• RQ5 提案された手法は、会話認識および感情認識タスクで最先端の性能を達成できるか？

主な発見

• 視覚的および音声的自己教師あり学習の組み合わせにより、特にノイズが多い条件下でも、より情報量が多く頑健な会話表現が得られる。
• 自己教師あり事前学習により、重みの初期化が優れ、小規模データセットにおいて過学習が抑えられ、収束が早まる。
• 提案された音声のみの自己教師あり学習手法は、視覚データがなくても表現学習を向上させる。
• 顔再構成を用いた視覚的自己教師あり学習は、音声表現学習を効果的にガイドし、特徴品質を向上させる。
• マルチタスクアプローチは、会話認識および感情認識タスクの両方で最先端の性能を達成した。
• 結果から、視覚的および音声的自己教師あり学習の統合による、より豊かな会話表現の学習の可能性が示された。