[論文レビュー] Select-Additive Learning: Improving Cross-individual Generalization in Multimodal Sentiment Analysis.

Haohan Wang, Aaksha Meghawat+2 more|arXiv (Cornell University)|Sep 16, 2016

Sentiment Analysis and Opinion Mining参考文献 21被引用数 28

ひとこと要約

本稿では、交差個人一般化を向上させるために、交絡する表現を選択し、ガウスノイズを追加してそれを排除する二段階手法であるSelect-Additive Learning (SAL) を提案する。SAL は、テキスト、音声、動画、およびそれらの統合において、モデルが1つのデータセットで学習され、他のデータセットでテストされても、精度を向上させる。

ABSTRACT

Multimodal sentiment analysis is drawing an increasing amount of attention these days. It enables mining of opinions in video reviews and surveys which are now available aplenty on online platforms like YouTube. However, the limited number of high-quality multimodal sentiment data samples may introduce the problem of the sentiment being dependent on the individual specific features in the dataset. This results in a lack of generalizability of the trained models for classification on larger online platforms. In this paper, we first examine the data and verify the existence of this dependence problem. Then we propose a Select-Additive Learning (SAL) procedure that improves the generalizability of trained discriminative neural networks. SAL is a two-phase learning method. In Selection phase, it selects the confounding learned representation. In Addition phase, it forces the classifier to discard confounded representations by adding Gaussian noise. In our experiments, we show how SAL improves the generalizability of state-of-the-art models. We increase prediction accuracy significantly in all three modalities (text, audio, video), as well as in their fusion. We show how SAL, even when trained on one dataset, achieves good accuracy across test datasets.

研究の動機と目的

• マルチモーダルセンチメントデータセットにおける個々の特徴に過学習するセンチメントモデルの問題に対処する。
• 異なるユーザー人口統計を持つ多様なオンラインプラットフォームにおいて、識別的ニューラルネットワークの一般化能力を向上させる。
• 個々の特徴に依存するのを減らす訓練手順を開発するが、同時にモダリティ固有のセンチメント情報を保持する。
• 異なる発話者特性を持つ未観測データセットに転移された際、最先端モデルが高い性能を維持できるようにする。

提案手法

• 選択フェーズでは、SAL がニューラルネットワーク内の個々の特徴に影響を受ける表現を特定し、分離する。
• 追加フェーズでは、選択された交絡する表現にガウスノイズを注入して、分類器がそれらに依存するのを防ぐ。
• この手法は二段階の訓練手順として機能する：まず問題となる特徴を特定し、次にノイズ注入による正則化を施す。
• ノイズ注入は、敵対的正則化の一種として機能し、分類器がより強固で分離された表現を学習するよう促す。
• このアプローチは、既存のマルチモーダル統合アーキテクチャと互換性があり、テキスト、音声、動画のモダリティに適用可能である。
• この手法はモジュラーに設計されており、アーキテクチャの大幅な見直しを伴わずに、さまざまな最先端モデルに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルデータセットにおける個々の特徴に起因する要因が、センチメント分類モデルの一般化をどの程度妨げるか？
• RQ2 選択とその後の交絡除去を含む二段階学習手順が、マルチモーダルセンチメント分析におけるクロスデータセット性能を向上させられるか？
• RQ3 選択された交絡する表現にガウスノイズを注入することで、多様なテストデータセットにおける一般化が向上するか？
• RQ4 SAL は、テキスト、音声、動画、およびマルチモーダル統合設定において、ベースライン手法と比較して精度と頑健性の面でどのように差をつけるか？

主な発見

• SAL は、未学習のテストデータセットにおいて、テキスト、音声、動画の3モダリティすべてで予測精度を顕著に向上させる。
• マルチモーダル統合設定でも性能が向上し、個々のモダリティを超えて一般化能力が向上していることを示している。
• SAL で訓練されたモデルは、学習データとは異なる発話者特性を持つデータセットでも、高い性能を達成する。
• 複数のベンチマークデータセットにおいて一貫した改善が得られ、ドメインシフトに対して頑健であることが示された。
• 第二フェーズにおけるガウスノイズの追加は、交絡する表現への依存を効果的に低減するが、モダリティ固有の信号の劣化は生じない。
• SAL により、最先端モデルがオンラインプラットフォーム間でより良い一般化を達成でき、センチメント予測における個々の特徴バイアスが軽減される。