[論文レビュー] Visual and Textual Sentiment Analysis Using Deep Fusion Convolutional Neural Networks

Xingyue Chen, Yunhong Wang+1 more|arXiv (Cornell University)|Nov 21, 2017

Sentiment Analysis and Opinion Mining参考文献 12被引用数 6

ひとこと要約

本論文は、プーリング層で特徴を統合することで、視覚的およびテキスト的センチメント表現を統合的に学習するエンドツーエンドのディープファージョン畳み込みニューラルネットワークを提案する。これにより、センチメント分類の精度が顕著に向上し、VSOデータセットでは84.7%の精度を達成し、最先端手法を1.3%上回る。これは、マルチモーダル統合の有効性を示している。

ABSTRACT

Sentiment analysis is attracting more and more attentions and has become a very hot research topic due to its potential applications in personalized recommendation, opinion mining, etc. Most of the existing methods are based on either textual or visual data and can not achieve satisfactory results, as it is very hard to extract sufficient information from only one single modality data. Inspired by the observation that there exists strong semantic correlation between visual and textual data in social medias, we propose an end-to-end deep fusion convolutional neural network to jointly learn textual and visual sentiment representations from training examples. The two modality information are fused together in a pooling layer and fed into fully-connected layers to predict the sentiment polarity. We evaluate the proposed approach on two widely used data sets. Results show that our method achieves promising result compared with the state-of-the-art methods which clearly demonstrate its competency.

研究の動機と目的

• ソーシャルメディアにおける視覚的およびテキスト的モダリティからの補完的情報を利用することで、単一モダリティのセンチメント分析の限界を克服する。
• 低レベルの画像特徴と高レベルのセンチメント意味論の間の感情的ギャップを、ディープ階層的特徴学習によって克服する。
• マルチモーダルデータにおける画像と短いテキストの間の意味的相関をモデル化することで、センチメント予測性能を向上させる。
• エンドツーエンドのフレームワークを構築し、グローバルな画像コンテキストを保持しながら局所的なテキスト特徴を捉えるように、後段の段階で視覚的およびテキスト的表現を統合する。
• ベンチマークデータセット上で、初期統合／後期統合およびモダリティ固有のベースラインと比較して、ディープファージョンの優位性を示す。

提案手法

• 語彙に存在しない語（OOV）はランダムに初期化する200次元の事前学習済みWord2Vecを用い、テキスト記述を分散表現に埋め込む。
• フィルターサイズが3、4、5のマルチレイヤーCNNを用い、埋め込みテキスト系列から局所的なn-gram特徴を抽出する。
• 入力を224×224にリサイズし、AlexNetの最初の5層と同一の5層の畳み込みアーキテクチャを用いて入力画像を処理する。
• プーリング層で視覚的およびテキスト的特徴を統合し、プールドされた表現を連結して全結合層に供給する。
• モダリティ固有の特徴を独立して学習し、表現レベルで統合する後期統合戦略を採用し、グローバルな画像コンテキストを保持する。
• ミニバッチサイズ100で学習し、初期学習率0.0001を設定し、3000ステップごとに0.96のベースで指数関数的に減衰させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的およびテキスト的特徴の統合学習は、単一モダリティ手法を上回るセンチメント分類を可能にするか？
• RQ2 マルチモーダルセンチメント分析において、深層視覚的およびテキスト的表現の後期統合は、初期統合や他の後期統合戦略と比較してどのように異なるか？
• RQ3 グローバルな画像コンテキストを保持することで、局所的なテキスト特徴と組み合わせた場合、センチメント予測の性能はどの程度向上するか？
• RQ4 提案されたディープファージョンモデルは、VSOやMVSO-ENなどのベンチマークデータセットで、既存の最先端手法を上回るか？
• RQ5 現実のソーシャルメディアデータセットにおけるノイズが多く、弱くラベル付けされたデータに対して、モデルの頑健性はどの程度か？

主な発見

• 提案されたディープファージョンモデルは、VSOデータセットで84.7%の精度を達成し、以前の最先端手法を1.3ポイント上回った。
• VSOデータセットでは、単一モダリティベースライン（ST: 69.5%の精度、SV: 63.1%の精度）を顕著に上回り、マルチモーダル統合の価値を示した。
• PCNN（78.1%の精度）、YouのCCR手法（67.2%の精度）、T-LSTM（83.3%の精度）を上回り、VSOで最高の性能を達成した。
• よりノイズの多いMVSO-ENデータセットでも、73.7%の精度を達成し、データノイズの増加にもかかわらず頑健であることを示した。
• 性能向上は、グローバルな画像特徴と局所的なテキスト特徴の有効な統合に起因し、より良い意味的表現学習を可能にした。