[論文レビュー] Robust Image Sentiment Analysis Using Progressively Trained and Domain Transferred Deep Networks

Quanzeng You, Jiebo Luo+2 more|arXiv (Cornell University)|Sep 20, 2015

Sentiment Analysis and Opinion Mining参考文献 27被引用数 213

ひとこと要約

本論文では、段階的訓練およびドメイン移行を用いた深層畳み込みニューラルネットワーク（CNN）フレームワークを提案し、ロバストな画像センチメント分析を実現する。半百万枚の弱ラベル付きFlickr画像を活用し、手動ラベル付きのTwitter画像の少数セットで微調整することで、SOTA（最先端）の性能を達成し、TwitterテストデータでF1スコア0.846を記録した。これは、ハンドクラフト特徴量や事前学習モデルを用いたベースライン手法を著しく上回った。

ABSTRACT

Sentiment analysis of online user generated content is important for many social media analytics tasks. Researchers have largely relied on textual sentiment analysis to develop systems to predict political elections, measure economic indicators, and so on. Recently, social media users are increasingly using images and videos to express their opinions and share their experiences. Sentiment analysis of such large scale visual content can help better extract user sentiments toward events or topics, such as those in image tweets, so that prediction of sentiment from visual content is complementary to textual sentiment analysis. Motivated by the needs in leveraging large scale yet noisy training data to solve the extremely challenging problem of image sentiment analysis, we employ Convolutional Neural Networks (CNN). We first design a suitable CNN architecture for image sentiment analysis. We obtain half a million training samples by using a baseline sentiment algorithm to label Flickr images. To make use of such noisy machine labeled data, we employ a progressive strategy to fine-tune the deep network. Furthermore, we improve the performance on Twitter images by inducing domain transfer with a small number of manually labeled Twitter images. We have conducted extensive experiments on manually labeled Twitter images. The results show that the proposed CNN can achieve better performance in image sentiment analysis than competing algorithms.

研究の動機と目的

• 大規模でノイズの多い画像データセットを活用することで、手動ラベル付きの視覚的センチメントデータが限られているという課題に対処すること。
• 転移学習を用いて、FlickrからTwitterへのドメイン間で一般化性能を向上させること。
• 従来のハンドクラフト特徴量や属性に依存する手法を上回る、深層学習フレームワークを開発すること。
• テキスト的センチメント分析を補完する形で、視覚的コンテンツからの効果的なセンチメント予測を可能にすること。
• プログレッシブトレーニングとドメイン適応を用いた深層CNNが、視覚的センチメント分析において実用的かつ効果的であることを実証すること。

提案手法

• 画像センチメント分析に特化したカスタム深層CNNアーキテクチャを設計し、高レベルの抽象化とセンチメント分類に最適化されたものとした。
• ノイズの多いラベルを含む50万枚の弱ラベル付きFlickr画像を用いて、CNNの段階的トレーニング戦略を適用し、ラベルノイズへのロバスト性を向上させた。
• 1269枚の手動ラベル付きTwitter画像を用いてドメイン移行を実施し、事前学習済みモデルをターゲットドメインに適応させた。
• ターゲットドメインのデータ上でエンドツーエンドに微調整することで、知識の転送が可能となり、未学習のTwitter画像における性能が向上した。
• 標準的な指標（精度、再現率、F1スコア）を用いて、複数のテストセットで性能を評価した。
• ターゲットドメインで最小限のラベル付きデータを用いることで、大規模な手動アノテーションに依存することなく、転移学習を可能にした。

実験結果

リサーチクエスチョン

• RQ1 大規模でノイズの多い画像データで学習した深層CNNは、画像センチメント分析においてロバストな性能を達成できるか？
• RQ2 段階的トレーニングは、弱教師あり学習におけるノイズラベルの影響をどれほど軽減できるか？
• RQ3 Flickr画像で学習したモデルが、わずか1269枚の手動ラベル付き例を用いて、Twitter画像へどれほど一般化できるか？
• RQ4 ターゲットドメイン固有のデータでエンドツーエンドに微調整することで、固定特徴量ベースのモデルと比較して、センチメント分類の正確性が向上するか？
• RQ5 深層ニューラルネットワークは、従来の低レベルまたは中レベルのハンドクラフト視覚的特徴量に依存する手法を上回って、視覚的センチメント分析において優れた性能を発揮できるか？

主な発見

• 提案されたCNNは、TwitterテストセットでF1スコア0.846を達成し、すべてのベースライン手法（SentiBank：0.776、Sentribute：0.805）を著しく上回った。
• 微調整済みCNNモデルは、Twitterテストセットで精度0.905、再現率0.855を達成し、ポジティブセンチメント予測において優れた性能を示した。
• ノイズの多いFlickrデータでの段階的トレーニングに続き、1269枚のTwitter画像を用いたドメイン適応により、ソースドメインデータでのみ学習したモデルと比較して顕著な性能向上が得られた。
• 微調整済みCNNモデルとPCNNモデルの両方が類似した性能を示したため、異なる初期化でも微調整プロセスが有効な局所最適解に収束することを示唆した。
• 両モデルの上位予測順位の画像は正しく分類されたが、上位ポジティブと予測された画像は同一ではなかったため、異なる最適化経路に起因する異なる学習済み表現が得られたことが示された。
• 低レベル特徴量を用いたモデルでは共通の誤分類が観察されたため、特徴表現に共通の制限があることが示唆されたが、深層学習モデルはより一貫性がありロバストな性能を示した。