[論文レビュー] Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision

Abhinav Shukla, Stavros Petridis+1 more|arXiv (Cornell University)|Jul 8, 2020

Speech and Audio Processing参考文献 22被引用数 4

ひとこと要約

本論文は、音声のみの自己教師あり学習（音声属性の予測）と視覚的自己教師あり学習（音声から会話する顔の映像を生成）を組み合わせることで、生の音声波形から直接音声表現を学習するための共同音声視覚自己教師あり手法を提案する。この手法は、完全に教師あり学習や既存の自己教師あり手法を著しく上回り、特にデータが少ない状況やノイズが多い環境下でも優れた性能を示しており、音声表現学習におけるマルチモーダル事前学習の有効性を実証している。

ABSTRACT

The intuitive interaction between the audio and visual modalities is valuable for cross-modal self-supervised learning. This concept has been demonstrated for generic audiovisual tasks like video action recognition and acoustic scene classification. However, self-supervision remains under-explored for audiovisual speech. We propose a method to learn self-supervised speech representations from the raw audio waveform. We train a raw audio encoder by combining audio-only self-supervision (by predicting informative audio attributes) with visual self-supervision (by generating talking faces from audio). The visual pretext task drives the audio representations to capture information related to lip movements. This enriches the audio encoder with visual information and the encoder can be used for evaluation without the visual modality. Our method attains competitive performance with respect to existing self-supervised audio features on established isolated word classification benchmarks, and significantly outperforms other methods at learning from fewer labels. Notably, our method also outperforms fully supervised training, thus providing a strong initialization for speech related tasks. Our results demonstrate the potential of multimodal self-supervision in audiovisual speech for learning good audio representations.

研究の動機と目的

• 生の音声波形から、クロスモodalな監視信号を用いて頑健な音声表現を学習する自己教師あり手法の開発。
• 特に、音声から会話する顔の映像を生成することをプロキシタスクとして用いる視覚的自己教師あり学習の有効性の調査。
• 限られたラベル付きデータがある状況で、下流の音声分類タスクにおける性能向上を検証すること。
• 特にリソースが限られた状況やノイズが多い環境下で、音声のみの自己教師あり手法や完全に教師あり学習と比較して、本手法の有効性を評価すること。

提案手法

• 本手法は、生の音声および視覚的モダリティからの共同自己教師あり学習を実行する1D ResNet18を音声エンコーダとして採用する。
• 音声のみの自己教師あり学習は、音声エンコーダの潜在表現から顕著な音声特徴（MFCC、ログメルスペクトログラム、生波形）を再構成するデコーダを学習させることで達成される。
• 視覚的自己教師あり学習は、最初のフレームと音声埋め込みから、会話する顔のフレーム列を再構成する動画生成ヘッドを用いて実装され、音声と口唇の動きの整合性を強制する。
• 音声エンコーダは、音声タスクおよび視覚タスクの両方の再構成損失を用いて同時に最適化され、視覚的情報を含む豊富な表現を学習可能になる。
• 最終的な音声エンコーダは、交差エントロピー損失を用いたBiGRU分類器を用いて、下流の分類タスクでファインチューニングされる。
• 本手法は、孤立語分類（SPCおよびLRWデータセット）で評価され、限定データ（10％）およびノイズ環境（SNR -5 dB ～ 20 dB）におけるアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 音声のみの自己教師あり学習と比較して、共同音声視覚自己教師あり学習は、生の音声からの音声表現学習を改善できるか？
• RQ2 会話する顔の生成をプロキシタスクとして用いる視覚的自己教師あり学習は、特にデータが少ない状況で音声表現の一般化性能を向上させるか？
• RQ3 ファインチューニング段階で下流の音声分類タスクにおいて、本手法は完全に教師あり学習を上回る性能を示せるか？
• RQ4 ノイズ環境下での本手法の性能はどのようであり、SNRが低い環境でもベースラインより優れているか？

主な発見

• 全データのSPCデータセットでは、本手法が95.21%の正確度を達成し、自己教師あり手法の中で2位となり、完全に教師あり学習を上回った。
• 全データのLRWデータセットでは、本手法が95.37%の正確度を達成し、比較されたすべての手法の中で最高の性能を示した。
• 訓練データの10%のみを用いた場合、SPCでは90.63%、LRWでは77.13%の正確度を達成し、他の自己教師ありおよび完全に教師ありベースラインを著しく上回った。
• ノイズ環境（SNR -5 dB ～ 20 dB）下でも、本手法はMFCCおよび他のすべての自己教師ありベースラインをSPCおよびLRW両方のデータセットで一貫して上回った。
• 共同音声視覚自己教師あり学習で学習したモデルは、音声のみまたは視覚のみのベースラインよりも一般化性能が優れており、マルチモーダル監視の補完的価値を示した。
• 本手法は、完全に教師あり学習からスクラッチで学習した場合を著しく上回った。これは、クロスモーダル信号を用いた自己教師あり事前学習が、音声タスクの強力な初期化であることを示している。