[論文レビュー] Deriving Emotions and Sentiments from Visual Content: A Disaster Analysis Use Case

Kashif Ahmad, Syed Zohaib Hassan+2 more|arXiv (Cornell University)|Feb 3, 2020

Sentiment Analysis and Opinion Mining参考文献 15被引用数 5

ひとこと要約

本稿では、ImageNetおよびPlacesデータセットからの事前学習モデルを用いたオブジェクトレベルおよびシーンレベルの特徴を活用して、災害関連画像のためのディープラーニングベースの視覚的感情分析手法を提案する。融合型VGGNetモデルを用いることで、81.34%の最先端の正確度を達成しており、複雑な現実世界の視覚的コンテンツにおける感情予測の向上には、オブジェクトと背景の特徴を組み合わせることが顕著に効果的であることが示された。

ABSTRACT

Sentiment analysis aims to extract and express a person's perception, opinions and emotions towards an entity, object, product and a service, enabling businesses to obtain feedback from the consumers. The increasing popularity of the social networks and users' tendency towards sharing their feelings, expressions and opinions in text, visual and audio content has opened new opportunities and challenges in sentiment analysis. While sentiment analysis of text streams has been widely explored in the literature, sentiment analysis of images and videos is relatively new. This article introduces visual sentiment analysis and contrasts it with textual sentiment analysis with emphasis on the opportunities and challenges in this nascent research area. We also propose a deep visual sentiment analyzer for disaster-related images as a use-case, covering different aspects of visual sentiment analysis starting from data collection, annotation, model selection, implementation and evaluations. We believe such rigorous analysis will provide a baseline for future research in the domain.

研究の動機と目的

• 複雑で現実世界の災害関連画像に特有の感情分析のギャップを埋める。これらの画像には複数のオブジェクトと豊富な背景情報が含まれる。
• データ収集、クラウドソーシングによるアノテーション、モデル学習を含む、包括的でエンドツーエンドの視覚的感情分析パイプラインを構築する。
• ImageNet（オブジェクトレベル）とPlaces（シーンレベル）の特徴を統合することで、感情予測の正確度が向上するかを評価する。
• 災害対応や人道的支援などの垂直分野における視覚的感情分析分野の今後の研究のためのベースラインを確立する。

提案手法

• ソーシャルメディアおよびニュースソースから、感情的な内容が強い現実の出来事に焦点を当てた災害関連画像を収集した。
• アノテーションの信頼性を確保するため、複数ラベルの感情カテゴリを含むクラウドソーシング研究を実施した。
• ImageNet（オブジェクトレベル）およびPlaces（シーンレベル）データセットからの特徴を用いて、AlexNet、VGGNet、Inception-v3、ResNetなどの事前学習済みディープラーニングモデルを、災害画像データに対して微調整した。
• ImageNetおよびPlacesで事前学習されたモデルの予測を統合するライト・フェージョン戦略を採用し、特徴表現を強化した。
• 複数のディープラーニングアーキテクチャを用いて、標準的な正確度指標で性能を評価した。
• 大規模データセットで事前学習されたモデルを、災害画像の感情分析という特定のタスクに適応させるため、トランスファー学習を用いた。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたディープラーニングモデルは、複雑なシーンと複数のオブジェクトを含む災害関連画像から感情をどれほど効果的に捉えられるか？
• RQ2 ImageNetからのオブジェクトレベル特徴とPlacesからのシーンレベル特徴の、視覚的感情分析における相対的寄与度は何か？
• RQ3 オブジェクト特徴とシーン特徴を併用することで、単独で使用する場合と比較して感情予測の正確度が向上するか？
• RQ4 本稿で提案するフレームワークは、挑戦的で現実世界のデータセットにおいて、既存のアプローチと比較して性能と頑健性に優れているか？
• RQ5 特に顔の表情ではない感情的な視覚的刺激において、感情の定義と抽出に直面する主な課題は何か？

主な発見

• 提案されたディープラーニングベースの視覚的感情分析手法は、ImageNetおよびPlacesデータセットで事前学習されたVGGNetモデルを用いたライト・フェージョン戦略により、81.34%の正確度を達成した。
• Inception-v3は、テストされたモデルの中で最高の個別性能を示し、災害画像データセットで80.70%の正確度を達成した。
• ImageNetで事前学習されたモデル（VGGNet）を用いることで、Placesで事前学習されたモデルよりも0.5%の正確度向上が確認され、オブジェクトレベル特徴の重要性が示された。
• ImageNetとPlacesの特徴を統合することで顕著な性能向上が確認され、複雑な画像における感情理解にはオブジェクトと背景の両方の詳細が不可欠であることが裏付けられた。
• 本研究では、災害画像における感情は顔の表情に起因するのではなく、文脈的および環境的ヒントにも依存していることが明らかになった。これにより、マルチモーダル特徴統合の必要性が強調された。
• クラウドソーシングはデータアノテーションに有効であったが、ラベル選択が依然として重要な課題であることが示され、事前に定義された感情カテゴリではなく、データ駆動型のカテゴリ定義の必要性が示唆された。