[論文レビュー] Select-Additive Learning: Improving Generalization in Multimodal Sentiment Analysis

Haohan Wang, Aaksha Meghawat+2 more|arXiv (Cornell University)|Sep 16, 2016

Sentiment Analysis and Opinion Mining参考文献 28被引用数 17

ひとこと要約

本稿では、選択的ノイズ注入により、被験者固有の特徴（例：眼鏡をかけていること）などの交絡要因への依存を低減することで、ニューラルネットワークの表現における一般化性能を向上させる二段階手法であるSelect-Additive Learning (SAL) を提案する。SAL は、テキスト、音声、視覚の全モダリティおよびそれらの統合において、最先端のモデルを向上させ、特にクロスデータセット評価において顕著な精度向上を達成し、p値 < 0.005 により統計的有意性が示されている。

ABSTRACT

Multimodal sentiment analysis is drawing an increasing amount of attention these days. It enables mining of opinions in video reviews which are now available aplenty on online platforms. However, multimodal sentiment analysis has only a few high-quality data sets annotated for training machine learning algorithms. These limited resources restrict the generalizability of models, where, for example, the unique characteristics of a few speakers (e.g., wearing glasses) may become a confounding factor for the sentiment classification task. In this paper, we propose a Select-Additive Learning (SAL) procedure that improves the generalizability of trained neural networks for multimodal sentiment analysis. In our experiments, we show that our SAL approach improves prediction accuracy significantly in all three modalities (verbal, acoustic, visual), as well as in their fusion. Our results show that SAL, even when trained on one dataset, achieves good generalization across two new test datasets.

研究の動機と目的

• 限られた低リソースのデータセットに起因するマルチモーダルセンチメント分析におけるモデル一般化性能の低さという課題に対処する。
• 小規模データセットにおいて感情と相関する被験者固有の視覚的特徴（例：眼鏡をかけていること）などの交絡要因を同定し、緩和する。
• アイデンティティ固有の特徴への依存を低減させることで、異なる個人およびデータセットに対して神経ネットワークの頑健性を向上させる。
• SAL が感情関連表現の質を損なわせることなく一般化性能を向上させることを示す。
• MOSI、YouTube、MOUD などの実世界のデータセットも含め、データセット内およびクロスデータセットの両設定で手法を検証する。

提案手法

• 二段階の選択的加法的学習（SAL）手順を適用する：まず、訓練済みニューラルネットワークの潜在表現から交絡要因を同定する「選択フェーズ」を実施する。
• 選択フェーズでは、潜在空間における次元が感情とは関係なく被験者アイデンティティと強く相関しているかどうかを特定するための表現ベースの指標 $ h(Z, \delta) $ を計算する。
• 加法フェーズでは、同定された交絡要因の次元にガウスノイズを注入することで、最終予測への影響を低減する。
• 性能向上が統計的に有意であるかどうかを検証するために、順列検定を用いる。
• SAL を統合したエンドツーエンドの学習を実施し、訓練および検証の両段階でノイズ注入を実行することで、頑健性を促進する。
• クラスタリング品質は、感情ベースとアイデンティティベースのクラスタリングにおけるクラスタ間距離対クラスタ内距離比を比較することで評価し、SAL 適用前後で分析する。

実験結果

リサーチクエスチョン

• RQ1 被験者アイデンティティなどの交絡要因が、小規模なマルチモーダルデータセットにおける感情分類にどの程度悪影響を及えるか。
• RQ2 感情関連表現の質を損なわせることなく、神経ネットワークがアイデンティティ固有の視覚的・音声的特徴への依存を軽減できるか。
• RQ3 提案手法であるSALが、異なるデータセットおよび未知の個人に対してモデルの一般化性能を向上させられるか。
• RQ4 SAL は、潜在表現空間における感情クラスタとアイデンティティクラスタの構造にどのような影響を与えるか。
• RQ5 SAL による性能向上は、複数のデータセットおよびモダリティにおいて統計的に有意であるか。

主な発見

• SAL は、全単モダリティ（言語的、音声的、視覚的）およびマルチモーダル（二モダリティおよび完全統合）設定において、予測精度を顕著に向上させ、データセット内評価において言語的モダリティでF1スコア最大0.052の向上を達成した。
• YouTube データセットでは、SAL により言語的モダリティの精度がCNNの0.605から0.657に向上し、音声的モダリティは0.441から0.564に向上した。これは、低リソース環境下でも強い頑健性を示している。
• クロスデータセット評価において、YouTube データセットでは順列検定のp値が0.0003にまで低下し、ベースラインCNNより統計的に有意な向上が確認された。
• SAL 適用後、感情ベースクラスタリングのクラスタ間距離対クラスタ内距離比は、言語的で44%、視覚的で72%、音声的で15%向上し、感情表現の明確さが向上したことが示された。
• SAL はアイデンティティベースクラスタリングを維持またはわずかに向上させた（言語的で9%向上、視覚的で13%向上）ことから、交絡要因の影響を低減しながらも、被験者アイデンティティ表現を損なわないことが示された。
• MOSI、YouTube、MOUD の3つのテストデータセットすべてで一貫した性能向上が得られ、特に音声的および視覚的モダリティで顕著な向上が観察された。これは、本手法の広範な適用可能性を示している。