[論文レビュー] CTAL: Pre-training Cross-modal Transformer for Audio-and-Language Representations

Hang Li, Yu Kang+3 more|arXiv (Cornell University)|Sep 1, 2021

Speech Recognition and Synthesis参考文献 44被引用数 5

ひとこと要約

CTALは、大規模な音声・言語ペアを用いてマスクド言語モデリングおよびマスクドクロスモーダル音声モデリングを用いた、音声および言語表現のためのクロスモーダルTransformer事前学習フレームワークを提案する。文脈内および文間の依存関係を統合的に学習することで、感情分類、センチメント分析、発話者認証の分野で最先端の性能を達成し、微調整段階での特徴の補完性を高めるために、新規の直交融合機構を導入している。

ABSTRACT

Existing audio-language task-specific predictive approaches focus on building complicated late-fusion mechanisms. However, these models are facing challenges of overfitting with limited labels and low model generalization abilities. In this paper, we present a Cross-modal Transformer for Audio-and-Language, i.e., CTAL, which aims to learn the intra-modality and inter-modality connections between audio and language through two proxy tasks on a large amount of audio-and-language pairs: masked language modeling and masked cross-modal acoustic modeling. After fine-tuning our pre-trained model on multiple downstream audio-and-language tasks, we observe significant improvements across various tasks, such as, emotion classification, sentiment analysis, and speaker verification. On this basis, we further propose a specially-designed fusion mechanism that can be used in fine-tuning phase, which allows our pre-trained model to achieve better performance. Lastly, we demonstrate detailed ablation studies to prove that both our novel cross-modality fusion component and audio-language pre-training methods significantly contribute to the promising results.

研究の動機と目的

• 音声・言語タスクにおいて、限られたラベル付きデータの下で過学習や一般化性能の低下を引き起こす、タスク特化型の後段融合モデルの限界を解消すること。
• モード内およびモード間の依存関係を捉えることのできる汎用的で事前学習可能な音声・言語表現モデルを構築すること。
• 大規模な音声・言語ペアを用いた統合的事前学習により、音声理解タスクの下流性能を向上させること。
• 微調整段階で、モード固有の直交的特徴学習を促進する専用の統合機構を設計すること。
• 包括的なアブレーションスタディを通じて、事前学習コンponentsおよび統合機構の有効性を検証すること。

提案手法

• テキストトークンを処理する言語ストリームと、メルスペクトログ램および言語埋め込みを処理するテキスト参照音声ストリームを備えたマルチストリームTransformerバックボーンを採用する。
• 2つのプロキシ事前学習タスク（マスクド言語モデリング（MLM）およびマスクドクロスモーダル音声モデリング（MCAM））を用いて、統合表現を学習する。
• 微調整段階で、音声および言語特徴が重複のない別々の視点から寄与するよう保証するため、モード直交正則化項を適用する。
• 音声ストリームが音声特徴および言語ストリームの埋め込みの両方に注目できる非対称エンコーダ設計を導入し、クロスモーダル整合性を図る。
• 特徴の多様性と性能向上を図るために、提案された直交統合機構を用いて、事前学習モデルを下流タスクで微調整する。
• アブレーションスタディを通じて、各コンponentの寄与を分離するため、大規模な音声・言語ペアデータを事前学習に活用する。

実験結果

リサーチクエスチョン

• RQ1 音声・言語ペアを用いた統合的事前学習は、下流の音声理解タスクの表現学習を向上させるか？
• RQ2 マスクド言語モデリングおよびマスクドクロスモーダル音声モデリングは、クロスモーダル表現学習にどのように寄与するか？
• RQ3 微調整段階で専用の統合機構を導入することで、直交的で補完的な特徴学習を促進し、性能向上が達成されるか？
• RQ4 MLMおよびMCAMといった事前学習コンponentsは、最終的なモデル性能にどの程度寄与しているか？
• RQ5 RoBERTa や Mockingjay などの単モーダル事前学習ベースラインと比較して、CTALはマルチモーダルタスクでどのように優れているか？

主な発見

• CTALは、IEMOCAPデータセットにおいて、感情分類で精度0.8055、EER 0.0155を達成し、最先端の性能を示した。
• センチメント分析において、CTAL-LARGEはIEMOCAPデータセットでF1スコア0.8077、精度0.8101を達成し、先行手法を上回った。
• 発話者認証において、CTAL-LARGEはEER 0.0155を達成し、ベースラインのRoBERTa（0.0320）および他のモデルと比べ顕著に低い値を示した。
• アブレーションスタディの結果、事前学習段階でMLMまたはMCAMを削除すると、全タスクで顕著な性能低下が生じ、両者の統合的役割の重要性が裏付けられた。
• 直交統合機構を削除すると、EERで1.5–2%、F1で1–2%の性能低下が生じ、その有効性が確認された。
• より大きなデータ（例：LibriTTS）を用いた事前学習は、小さなデータを用いた場合よりも性能を向上させ、CTAL-LARGEは全指標でCTAL-BASEを上回った。