[論文レビュー] CALM: Contrastive Aligned Audio-Language Multirate and Multimodal Representations

Vin Sachidananda, Shao-Yen Tseng+3 more|arXiv (Cornell University)|Feb 8, 2022

Music and Audio Processing被引用数 5

ひとこと要約

CALMは、スペクトラムトランスフォーマーと共同音声言語事前学習を介して、音声スペクトログ램パッチを事前学習済み言語モデルの埋め込みとアライメントさせる、対照的でマルチレートかつマルチモーダルなフレームワークを提案する。わずか数時間の学習で8台のV100 GPUを使用しても、自動音声認識のトランスクリプトを含め、感情認識分野で最先端の性能を達成し、従来のシステム比で10–25%の向上を実現した。

ABSTRACT

Deriving multimodal representations of audio and lexical inputs is a central problem in Natural Language Understanding (NLU). In this paper, we present Contrastive Aligned Audio-Language Multirate and Multimodal Representations (CALM), an approach for learning multimodal representations using contrastive and multirate information inherent in audio and lexical inputs. The proposed model aligns acoustic and lexical information in the input embedding space of a pretrained language-only contextual embedding model. By aligning audio representations to pretrained language representations and utilizing contrastive information between acoustic inputs, CALM is able to bootstrap audio embedding competitive with existing audio representation models in only a few hours of training time. Operationally, audio spectrograms are processed using linearized patches through a Spectral Transformer (SpecTran) which is trained using a Contrastive Audio-Language Pretraining objective to align audio and language from similar queries. Subsequently, the derived acoustic and lexical tokens representations are input into a multimodal transformer to incorporate utterance level context and derive the proposed CALM representations. We show that these pretrained embeddings can subsequently be used in multimodal supervised tasks and demonstrate the benefits of the proposed pretraining steps in terms of the alignment of the two embedding spaces and the multirate nature of the pretraining. Our system shows 10-25\% improvement over existing emotion recognition systems including state-of-the-art three-modality systems under various evaluation objectives.

研究の動機と目的

• 事前学習済み言語モデルの埋め込み空間に統合された共通の埋め込み空間内で、音声と言語の表現をアライメントさせる。
• 話された言語入力からのマルチレートおよび対照的情報を活用し、表現学習の効率性と性能を向上させる。
• 低リソースまたはノイズの多いトランスクリプション条件下でも、最小限のファインチューニングでエンドツーエンドのマルチモーダル理解を可能にする。
• 音声表現が言語モデルの監視から有効にブートストラップ可能であることを示し、大規模な音声固有の事前学習への依存を低減する。

提案手法

• スペクトラムトランスフォーマー（SpecTran）は、線形化されたスペクトログラムパッチを処理して、短時間音声フレームにわたるパッチベースの自己注意を可能にする音声トークンを生成する。
• 対照的音声言語事前学習（CALP）は、類似するクエリペアに対する対照的目的関数を用いて、音声埋め込みと対応する事前学習済み語彙的埋め込みをアライメントする。
• マルチモーダルトランスフォーマーは、音声と言語トークンを統合し、発話レベルの文脈を組み込んで、統合されたCALM表現を生成する。
• 音声と言語モダリティの両方の事前学習を統合するために、マスクされた言語モデリング（MLM）とマスクされた音声モデリング（MAM）の損失を組み合わせる。
• モデルは単一モダリティ推論（音声のみまたは言語のみ）をサポートしており、下流タスクで最小限のファインチューニングでエンドツーエンドに学習される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルの埋め込み空間にアライメントさせることで、音声表現を効果的に学習できるか？
• RQ2 短期的および長期的の両方のマルチレートおよび対照的情報を活用することで、音声言語表現学習が向上するか？
• RQ3 軽量で対照的な事前学習アプローチが、最小限の学習時間で感情認識分野で最先端の性能を達成できるか？
• RQ4 高単語誤り率を示す自動トランスクリプションを用いた場合、このアプローチはどの程度の耐性を示すか？

主な発見

• CALMは、複数の評価目的において、既存の感情認識システム、さらには最先端の3モダリティモデルに対し、10–25%の相対的向上を達成した。
• CMU-MOSEIおよびUTD MSP-Podcastsの両データセットでベースラインを上回り、事前学習のみでCMU-MOSEIで重み付き正確度に2%の絶対的向上を示した。
• CALMのBERT_TINYバージョンですら、他のSOTAアルゴリズムを上回る強力な性能を示しており、パrameter数を削減した状態でも優れた性能を発揮した。
• CALMの事前学習は8台のV100 GPUで3時間未満で完了し、他のマルチモーダルアプローチと比較して高い計算効率を示した。
• ASRによる生成トランスクリプションを用いた場合でも、強力な性能を示しており、ノイズの多い自動音声認識トランスクリプションに対しても耐性があることが裏付けられた。