[論文レビュー] Visual Sentiment Prediction with Deep Convolutional Neural Networks

Can Xu, Suleyman Cetintas+2 more|arXiv (Cornell University)|Nov 21, 2014

Advanced Image and Video Retrieval Techniques参考文献 15被引用数 114

ひとこと要約

この論文は、ImageNetで事前学習された畳み込みニューラルネットワーク（CNN）からの転移学習を用いて、視覚的感情分析のためのディープラーニングフレームワークを提案する。CNNのfc7およびfc8層からの特徴を活用することで、ノイズの多いデータにおいても、従来の低レベル特徴やSentiBankベースラインを著しく上回る、最先端の性能を達成した。

ABSTRACT

Images have become one of the most popular types of media through which users convey their emotions within online social networks. Although vast amount of research is devoted to sentiment analysis of textual data, there has been very limited work that focuses on analyzing sentiment of image data. In this work, we propose a novel visual sentiment prediction framework that performs image understanding with Deep Convolutional Neural Networks (CNN). Specifically, the proposed sentiment prediction framework performs transfer learning from a CNN with millions of parameters, which is pre-trained on large-scale data for object recognition. Experiments conducted on two real-world datasets from Twitter and Tumblr demonstrate the effectiveness of the proposed visual sentiment analysis framework.

研究の動機と目的

• ソーシャルメディアにおける画像ベースの感情表現の普及にもかかわらず、視覚的感情分析に関する研究が不足していることに対処する。
• 心理学や言語学の分野知識を必要とする、手作業で設計された特徴量や中位レベルの属性の限界を克服する。
• 手動による特徴工学を必要とせず、スケーラブルでエンドツーエンドのディープラーニングフレームワークを視覚的感情予測に開発する。
• 中立およびさまざまな感情強度を捉えるために5段階の感情スケールレーティングシステムを導入し、二値（ポジティブ／ネガティブ）ラベル付け方式を改善する。
• 大規模な事前学習済みCNNからの転移学習が、現実世界のソーシャルメディアデータセットにおける感情予測に有効であることを実証する。

提案手法

• オブジェクト認識のためImageNetで学習された、事前学習済みの深層畳み込みニューラルネットワーク（特に、特定のモデル）を特徴抽出器として利用する。
• CNNの全結合層fc7およびfc8から高レベルの表現を抽出し、感情予測用の画像埋め込みとして用いる。
• ネットワーク全体を再学習せず、視覚的感情データセット上で最終層を微調整することで、転移学習を適用する。
• 転送されたCNN特徴量の上に線形分類器を訓練し、感情スコアを予測する。
• バイナリ（ポジティブ／ネガティブ）および5段階の感情ラベルを用いて、異なる粒度レベルでの性能を評価する。
• 低レベル画像特徴（例：色ヒストグラム、HOG）および中位レベルの視覚的属性に基づくSentiBankという、従来手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の微調整なしに、事前学習済みの深層CNN特徴量を視覚的感情予測タスクに効果的に転送できるか？
• RQ2 従来の低レベル画像記述子やSentiBankのような中位レベル属性ベースの手法と比較して、深層CNN特徴量の性能はどのように異なるか？
• RQ3 データ品質に差がある（例：トゥイーター対Tumblr）異なるソーシャルメディアプラットフォームに、提案手法は一般化しやすいか？
• RQ4 5段階の感情スケールが、二値ラベル付けと比較して、感情の強度のモデリングにどの程度向上をもたらすか？
• RQ5 ノイズレベルの異なるデータセットにおいて、fc7およびfc8層の表現が、感情関連情報を捉える能力でどのように異なるか？

主な発見

• 提案手法のfc7およびfc8特徴表現は、トゥイターおよびTumblrの両データセットで、低レベル特徴およびSentiBankベースラインを著しく上回った。
• ノイズの多いトゥイターのデータセットでは、提案手法とベースラインとの性能差が顕著に大きくなり、ノイズに強いことを示した。
• クリアなTumblrのデータセットでは、SentiBankの性能が提案手法に近づいたが、fc7およびfc8アプローチは依然として優れたもしくは同等の結果を達成した。
• トゥイターのデータセットでは、fc7層がfc8層を常に上回った。これは、より高レベルで抽象度の高い特徴量がノイズの多い環境でより効果的であることを示唆している。
• Tumblrのデータセットでは、fc7およびfc8の性能が同等になった。これは、画像が明確でオブジェクトが識別しやすい状況では、オブジェクト検出（fc8）がより有効であることを示している。
• 5段階の感情スケールの導入により、感情の強度のモデリングがより洗練され、二値分類を越えた評価が可能になった。