[論文レビュー] Unsupervised Multimodal Language Representations using Convolutional Autoencoders

Panagiotis Koromilas, Theodoros Giannakopoulos|arXiv (Cornell University)|Oct 6, 2021

Topic Modeling被引用数 10

ひとこと要約

本稿では、語句アラインメントされた音声、テキスト、視覚的シーケンスに2次元畳み込み自己符号化器（CAE）を適用する非教師付きマルチモーダル表現学習手法を提案する。複数のデータセットで教師なしで学習させることで、コン pact で転移可能な埋め込み表現を学習し、微調整なしにロジスティック回帰を用いるだけで、感情認識およびセンチメント認識タスクで準SOTA性能を達成した。パrameter数はわずか約257Kであり、ドメインやデータ分布の違いに対しても優れた一般化性能を示した。

ABSTRACT

Multimodal Language Analysis is a demanding area of research, since it is associated with two requirements: combining different modalities and capturing temporal information. During the last years, several works have been proposed in the area, mostly centered around supervised learning in downstream tasks. In this paper we propose extracting unsupervised Multimodal Language representations that are universal and can be applied to different tasks. Towards this end, we map the word-level aligned multimodal sequences to 2-D matrices and then use Convolutional Autoencoders to learn embeddings by combining multiple datasets. Extensive experimentation on Sentiment Analysis (MOSEI) and Emotion Recognition (IEMOCAP) indicate that the learned representations can achieve near-state-of-the-art performance with just the use of a Logistic Regression algorithm for downstream classification. It is also shown that our method is extremely lightweight and can be easily generalized to other tasks and unseen data with small performance drop and almost the same number of parameters. The proposed multimodal representation models are open-sourced and will help grow the applicability of Multimodal Language.

研究の動機と目的

• 多様な録音環境やタスクに一般化可能な、普遍的で非教師付きのマルチモーダル表現学習フレームワークの開発。
• マルチモーダル言語分析における教師ありモデルの限界、特に未知のデータや録音設定に対して一般化できない問題の解決。
• コアな表現モデルを再学習せずに、さまざまな下流タスクで高い性能を維持できる、軽量でパラメータ効率の良いアーキテクチャの構築。
• 複数のデータセットで事前学習し、同じエンコーダーを多様な応用に用いることで、ゼロショットまたは少数ショットの転移学習を可能にすること。
• モデルをオープンソース化し、表現ネットワークの微調整なしに、下流のマルチモーダルタスクに即座に統合可能なプラグアンドプレイソリューションを提供すること。

提案手法

• 音声、テキスト、視覚的特徴シーケンスに語レベルのアラインメントを適用し、各発話文を時間的経過に沿ったモダリティ特徴を表す2次元テンソル（行列）に変換する。
• アラインメントされた2次元シーケンスは正規化され、畳み込み自己符号化器（CAE）に供給され、入力テンソルのエンドツーエンド再構成を通じて共同マルチモーダル表現を学習する。
• CAEのエンコーダー部は普遍的な特徴抽出器として機能し、時間的およびクロスモダリティ的依存関係を捉えた低次元の共有埋め込みを生成する。
• 下流分類タスクでは、CAEの重みを微調整せずに、学習済み埋め込みを単純なロジスティック回帰分類器の入力として使用する。
• モデルは複数のデータセット（例：MOSEIおよびIEMOCAP）で事前学習され、同じエンコーダーを新しいタスクに適用することで転移学習の評価が行われる。
• 単一モダリティや二重モダリティ表現学習をサポートするため、モダリティのサブセットのみを用いることで、同じ軽量アーキテクチャを維持する。

実験結果

リサーチクエスチョン

• RQ1 音声、テキスト、視覚の3モダリティすべての間の相互作用を、教師なしで1つの統一アーキテクチャが捉えることができるか？
• RQ2 異なる録音条件を持つ新しいデータセットに転移する際、学習済み表現の一般化性能はどの程度高いか？
• RQ3 最先端の教師ありモデルと比較して、提案手法のパフォーマンスとパラメータ効率はどの程度か？
• RQ4 同じ事前学習済みエンコーダーを再学習や微調整なしに、さまざまなタスクやデータセットに適用しても、性能の低下が最小限に抑えられるか？
• RQ5 MOSEIやIEMOCAPなどの複数のデータセットからの事前学習データを組み合わせることで、学習済み表現のロバスト性と一般化性能がどの程度向上するか？

主な発見

• 提案されたCAEベースの手法は、MOSEI（センチメント分析）およびIEMOCAP（感情認識）の両タスクで準SOTA性能を達成し、パrameter数はわずか257,206個であった。
• MOSEIでは、CAE埋め込みにロジスティック回帰を適用した結果、バイナリ精度が0.787に達し、下流タスクの複雑さを最小限に抑えつつも高い性能を示した。
• IEMOCAPからMOSEIへの知識転送において、バイナリ精度はたった0.5パーセンテージポイントの低下にとどまり、優れたクロスドメイン一般化性能を示した。
• MOSEIとIEMOCAPを同時に事前学習することで、MOSEI単独での事前学習に比べて下流タスクのパフォーマンスが向上し、複数データセット学習の利点が明らかになった。
• モデルはタスク間で一貫したパrameter数（約257K）を維持しているのに対し、他のモデルは顕著に変動（例：415K〜2300万パラメータ）を示すため、高い転送可能性と低コストな計算を実証した。
• 単一モダリティや二重モダリティ表現でも、1つまたは2つのモダリティのみを用いても、同等のパフォーマンスと効率性を維持できることを示した。