[論文レビュー] Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis

Hai Pham, Thomas Manzini+2 more|arXiv (Cornell University)|Jul 11, 2018

Topic Modeling参考文献 35被引用数 14

ひとこと要約

本稿では、テキスト、音声、映像データから連携表現を学ぶために、2つの教師なしマルチモーダル系列対系列モデル—Seq2Seq モダリティ翻訳モデルと階層的 Seq2Seq モダリティ翻訳モデル—を提案する。複数モダリティ間の系列的依存関係を活用することで、CMU-MOSIデータセットにおける二モダリティ感情分析でF1スコアが12ポイント向上し、教師ありベースラインを上回り、マルチモーダル理解における教師なし事前学習の有効性を示している。

ABSTRACT

Multimodal machine learning is a core research area spanning the language, visual and acoustic modalities. The central challenge in multimodal learning involves learning representations that can process and relate information from multiple modalities. In this paper, we propose two methods for unsupervised learning of joint multimodal representations using sequence to sequence (Seq2Seq) methods: a extit{Seq2Seq Modality Translation Model} and a extit{Hierarchical Seq2Seq Modality Translation Model}. We also explore multiple different variations on the multimodal inputs and outputs of these seq2seq models. Our experiments on multimodal sentiment analysis using the CMU-MOSI dataset indicate that our methods learn informative multimodal representations that outperform the baselines and achieve improved performance on multimodal sentiment analysis, specifically in the Bimodal case where our model is able to improve F1 Score by twelve points. We also discuss future directions for multimodal Seq2Seq methods.

研究の動機と目的

• 豊富なラベルなしマルチメディアデータが存在するにもかかわらず、マルチモーダル感情分析における教師なし表現学習の欠如に対処すること。
• 系列対系列モデリングによって学習された連携マルチモーダル表現が、下流の感情分類を改善できるかどうかを検討すること。
• Seq2Seqベースのアーキテクチャが、テキスト、音声、映像間のクロスモダリティ的および系列的依存関係を捉える能力を調査すること。
• 学習されたマルチモーダル表現の性能を、単モーダルおよびマルチモーダルの教師ありベースラインと比較すること。
• 特に共有表現空間内でのテキストモダリティの判別力の保持に関する、現在のマルチモーダルモデルの限界を特定すること。

提案手法

• 1つのモダリティを他の2つのモダリティから再構築するように学習する、自己符号化器に類似した構造を用いたSeq2Seq モダリティ翻訳モデルを提案。これにより、連携マルチモーダル表現が学習される。
• 2段階のSeq2Seq学習を適用する階層的Seq2Seq モダリティ翻訳モデルを導入。まず各モダリティ固有の表現を学習し、その後に複数モダリティ間の連携表現を学習する。
• 各モダリティ内の系列的依存関係をモデル化し、クロスモダリティ生成を可能にするために、双方向LSTMをエンコーダー、自己回帰的LSTMをデコーダーとして使用。
• 完全なマルチモーダル入力とモダリティ固有の変種を含む、複数の入力・出力構成を採用し、モデルの頑健性と各モダリティの寄与度を評価。
• 感情ラベルを必要としない教師なし学習を再構築損失に基づいて実施し、事前学習段階で感情ラベルを用いない。
• 下流の感情分類タスクにおいて、CMU-MOSIデータセットを用いて学習済みマルチモーダル表現を微調整する。

実験結果

リサーチクエスチョン

• RQ1 教師なし系列対系列モデルは、テキスト、音声、映像から連携マルチモーダル表現を効果的に学習し、マルチモーダル感情分析を改善できるか？
• RQ2 Seq2Seqモデルの異なる入力・出力構成は、学習されたマルチモーダル表現の質にどのように影響するか？
• RQ3 階層的アーキテクチャは、通常のSeq2Seqアプローチに比べ、マルチモーダル環境下で表現学習を向上させられるか？
• RQ4 学習された表現は、特に単モーダルテキストベースラインと比較して、テキストモダリティの判別力をどの程度保持しているか？
• RQ5 CMU-MOSIのトレーニングセットが小さい状況において、より大きな外部データセットでの事前学習が性能向上に寄与するか？

主な発見

• 提案されたSeq2Seq モダリティ翻訳モデルは、ベースラインモデルと比較して、二モダリティ感情分析設定でF1スコアが12ポイント向上した。
• モデルは単モーダルおよびマルチモーダルの教師ありベースラインを上回り、系列モデリングを用いた教師なし事前学習の価値を示した。
• テキストモダリティが最も判別力が高い。モデルの性能は、共有マルチモーダル空間内でのテキスト表現の劣化によって制限されている。
• 音声と映像のみから学習された表現は性能が低く、テキストに比べて判別力が低いことを確認した。
• 階層的Seq2Seqモデルは有望ではあるが、データ不足の制約により性能が制限されており、より大きなデータセットや事前学習により性能向上が期待できる。
• 本研究では、表現学習ヘッドと分類ヘッドの別々の訓練が性能を制限していることが判明した。これにより、エンドツーエンドの訓練がさらなる向上をもたらす可能性がある。