[論文レビュー] OutdoorSent: Sentiment Analysis of Urban Outdoor Images by Using Semantic and Deep Features

Wyverson Bonasoli de Oliveira, Leyza Baldo Dorini+2 more|arXiv (Cornell University)|Jun 5, 2019

Sentiment Analysis and Opinion Mining参考文献 44被引用数 8

ひとこと要約

本稿では、ConvNetsからの深層特徴とYOLOおよびSUNからの意味的属性を組み合わせることで、都市の屋外画像の感情分析を目的とした新しいデータセット OutdoorSent とフレームワークを提案する。実験により、意味的シーン理解を統合することで、複数のアーキテクチャ、特に単純なモデルにおいて感情分類の精度が顕著に向上することが示された。一方で、屋内画像を含めても性能向上は得られず、本手法はデータセット間で良好な一般化性能を示し、シカゴにおける実世界の都市感情マップ作成に応用可能である。

ABSTRACT

Opinion mining in outdoor images posted by users during different activities can provide valuable information to better understand urban areas. In this regard, we propose a framework to classify the sentiment of outdoor images shared by users on social networks. We compare the performance of state-of-the-art ConvNet architectures, and one specifically designed for sentiment analysis. We also evaluate how the merging of deep features and semantic information derived from the scene attributes can improve classification and cross-dataset generalization performance. The evaluation explores a novel dataset, namely OutdoorSent, and other datasets publicly available. We observe that the incorporation of knowledge about semantic attributes improves the accuracy of all ConvNet architectures studied. Besides, we found that exploring only images related to the context of the study, outdoor in our case, is recommended, i.e., indoor images were not significantly helpful. Furthermore, we demonstrated the applicability of our results in the city of Chicago, USA, showing that they can help to improve the knowledge of subjective characteristics of different areas of the city. For instance, particular areas of the city tend to concentrate more images of a specific class of sentiment, which are also correlated with median income, opening up opportunities in different fields.

研究の動機と目的

• ソーシャルメディアで共有される都市の屋外画像における感情分類のための堅牢なフレームワークの開発。
• 最先端のConvNetsからの深層特徴とYOLOおよびSUNからの意味的属性を統合することで、感情分類に与える影響の評価。
• トレーニング時に屋内画像を含めることで、感情分類の性能が向上するかどうかの調査。
• 提案手法のデータセット間一般化性能の評価。
• シカゴにおける事例研究を通じて、実世界応用の可能性を提示し、感情パターンと都市の社会経済的特徴を関連付ける。

提案手法

• フレームワークは、5つのConvNetアーキテクチャ（4つの汎用モデルと1つの画像感情分析に特化したモデル）を用い、提案されたOutdoorSentデータセットで訓練する。
• YOLO9000およびSUNシーン理解モデルを用いて、都市の屋外感情に関連する高レベルの属性を抽出する。
• 各ConvNetの最終全結合層からの深層特徴を、意味的属性ベクトルと連結し、ハイブリッド特徴表現を構築する。
• ハイブリッド特徴を用いてマルチクラス分類器を訓練し、感情をポジティブ、ネガティブ、ニュートラルの3クラスに分類予測する。
• OutdoorSentおよび公開ベンチマークを用いたデータセット間比較実験を行い、屋内画像の含め方やモデル一般化性能に関するアブレーションスタディを実施。
• シカゴで実世界の妥当性を検証し、感情分布と中央値収入、都市的特徴の関連性を分析。

実験結果

リサーチクエスチョン

• RQ1 YOLOおよびSUNからの意味的属性の統合は、都市の屋外画像における感情分類精度を向上させるか？
• RQ2 トレーニング時に屋内画像を含めることは、感情分類モデルの性能にどのように影響するか？
• RQ3 どのConvNetアーキテクチャが、精度とデータセット間一般化性能の両面で最も優れているか？
• RQ4 提案されたフレームワークは、実際の都市環境における感情パターンの特定とマッピングを効果的に行えるか？
• RQ5 特定の意味的属性（例：汚染、落書き、自然景観）は、都市シーンにおける感情極性の予測に特に寄与するか？

主な発見

• YOLOおよびSUNからの意味的属性の統合により、評価されたすべてのConvNetアーキテクチャの分類精度が顕著に向上し、特に単純なモデルで最も顕著な向上が見られた。
• トレーニング時に屋内画像を用いても、性能向上は顕著ではなく、計算コストの増加に対しては正当化されない。
• 最も単純なConvNetアーキテクチャが、すべての評価シナリオにおいて最も優れたデータセット間一般化性能を示した。
• ネガティブとされる画像の約80％は、建設廃棄物、汚染、落書き、手入れ不良といった都市問題に関連している。
• ポジティブとされる画像の約83％は、自然景観、夕焼け、都市の夜景、芸術的モニュメント、エンターテインメント活動と関連している。
• 本研究では、YOLO9000やSUNといった既存のシーン理解モデルが、感情に関連する都市の屋外属性を十分にカバーしていないことが判明し、ドメイン特化型のアーキテクチャ拡張の必要性が示された。