[論文レビュー] Multimodal Affective Analysis Using Hierarchical Attention Strategy with Word-Level Alignment

Yue Gu, Kangning Yang+4 more|arXiv (Cornell University)|May 22, 2018

Sentiment Analysis and Opinion Mining参考文献 25被引用数 10

ひとこと要約

本稿では、感情分類とセンチメント分類の精度向上を目的として、テキストと音声を語彙レベルで整合させる階層的マルチモodalアテンションネットワークを提案する。モダリティ固有の特徴量とアテンション重みを水平的・垂直的・ファインチューニング戦略によって統合することで、MOSI、IEMOCAP、YouTube、EmotiWの各データセットで最先端の性能を達成するとともに、両モダリティの解釈可能なアテンション可視化を可能にした。

ABSTRACT

Multimodal affective computing, learning to recognize and interpret human affects and subjective information from multiple data sources, is still challenging because: (i) it is hard to extract informative features to represent human affects from heterogeneous inputs; (ii) current fusion strategies only fuse different modalities at abstract level, ignoring time-dependent interactions between modalities. Addressing such issues, we introduce a hierarchical multimodal architecture with attention and word-level fusion to classify utter-ance-level sentiment and emotion from text and audio data. Our introduced model outperforms the state-of-the-art approaches on published datasets and we demonstrated that our model is able to visualize and interpret the synchronized attention over modalities.

研究の動機と目的

• 時間的ずれを伴う異種のテキストと音声モダリティを統合する課題に取り組む。
• 従来の統合手法が抽象的または発話レベルの表現に基づいているため、時間依存の相互作用を無視するという限界を克服する。
• 言語的コンテンツとボーカルの発話タイミングを語彙レベルで同期させ、より正確なセンチメントおよび感情認識を実現する。
• モダリティ固有および統合された表現の両方のアテンション重みの可視化を通じて、解釈可能性を提供する。
• データ品質やアノテーション方式にばらつきがある多様なマルチモーダルデータセットにわたる一般化性能を示す。

提案手法

• モデルは、テキストおよび音声入力から高レベル特徴量を抽出するために双方向ゲート付き再帰ユニット（GRUs）を用いる。
• 語彙レベルの強制的同期（forced alignment）を適用し、言語的コンテンツと対応する音声フレームを同期させる。
• 多段階アテンション機構により、テキスト語、音声フレーム、および同期化された語彙レベル表現のアテンション重みを計算する。
• 特徴量とアテンションを語彙レベルで統合するための3つの統合戦略（水平的・垂直的・ファインチューニングアテンション統合）を提案する。
• 畳み込みニューラルネットワーク（CNN）ベースの分類器を用いて、統合表現から発話レベルのセンチメントおよび感情を分類する。
• アーキテクチャにより、モダリティ固有および共有のアテンション重みの可視化が可能となり、解釈性が向上する。

実験結果

リサーチクエスチョン

• RQ1 テキストと音声の語彙レベルの同期が、発話レベル統合を越えてマルチモーダル感情分類の性能を向上させるか？
• RQ2 語彙レベルで同期された際、モダリティ固有のアテンション機構が互いにどのように相互作用するか？
• RQ3 語彙レベルでの共同アテンションが、単一モーダルまたは遅延統合アプローチと比較して、より高い性能と解釈可能性をもたらすか？
• RQ4 本手法は、データ品質やアノテーションの一貫性にばらつきがあるデータセットに対しても一般化可能か？
• RQ5 アテンション可視化は、個々のモダリティおよび統合されたモダリティのモデル意思決定プロセスを効果的に明らかにできるか？

主な発見

• 提案手法は、MOSI、IEMOCAP、YouTube、EmotiWの4つのベンチマークデータセットで最先端の性能を達成した。
• MOSIでは78.5%の正解率と0.721のF1スコアを達成し、従来のSOTA手法を上回った。
• IEMOCAPでは74.2%の正解率と0.712のF1スコアを達成し、音声のみがテキストのみを上回る状況でも強力な性能を示した。
• 一般化結果として、MOSIで学習したモデルはYouTubeで66.2%の正解率と0.665のF1スコアを示し、IEMOCAPで学習したモデルはEmotiWで61.4%の正解率を達成した。これは、ドメイン間での転送性を示している。
• アテンション可視化により、共有およびファインチューニングされたアテンション機構が、感情的に重要な語や音声的キーポイント（例：怒りを示す「hell」、喜びを示す「you’re」）を的確に特定していることが確認された。