[論文レビュー] OutdoorSent: Can Semantic Features Help Deep Learning in Sentiment Analysis of Outdoor Images?

Wyverson Bonasoli de Oliveira, Leyza Baldo Dorini+2 more|arXiv (Cornell University)|Jun 5, 2019

Human Mobility and Location-Based Analysis被引用数 1

ひとこと要約

本稿では、ConvNet特徴と意味的シーン属性を統合することで、屋外SNS画像の感情分析を向上させる深層学習フレームワークを提案する。深層特徴と意味的知識を組み合わせることで、複数のアーキテクチャにわたる精度とクロスデータセット一般化性能が向上することを示しており、屋外特化データが屋内画像よりも効果的であることが判明した。

ABSTRACT

Opinion mining in outdoor images posted by users during different activities can provide valuable information to better understand urban areas. In this regard, we propose a framework to classify the sentiment of outdoor images shared by users on social networks. We compare the performance of state-of-the-art ConvNet architectures, and one specifically designed for sentiment analysis. We also evaluate how the merging of deep features and semantic information derived from the scene attributes can improve classification and cross-dataset generalization performance. The evaluation explores a novel dataset, namely OutdoorSent, and other datasets publicly available. We observe that the incorporation of knowledge about semantic attributes improves the accuracy of all ConvNet architectures studied. Besides, we found that exploring only images related to the context of the study, outdoor in our case, is recommended, i.e., indoor images were not significantly helpful. Furthermore, we demonstrated the applicability of our results in the city of Chicago, USA, showing that they can help to improve the knowledge of subjective characteristics of different areas of the city. For instance, particular areas of the city tend to concentrate more images of a specific class of sentiment, which are also correlated with median income, opening up opportunities in different fields.

研究の動機と目的

• ソーシャルメディアで共有される屋外画像の感情分類を目的とした深層学習フレームワークの開発。
• 深層畳み込みニューラルネットワーク特徴と意味的シーン属性を統合した場合の感情分類性能への影響の評価。
• 特に現実の都市的文脈において、モデルの一般化能力を評価すること。
• 都市環境における感情分析において、屋外特化画像が屋内画像よりも情報量が多いかどうかを調査すること。

提案手法

• 屋外画像から深層特徴を抽出するために、最新のConvNetアーキテクチャ（感情分析に特化したものも含む）を用いる。
• 事前学習済みモデルを用いて画像から意味的属性を抽出し、照明、天候、都市的要素などのシーンレベルの文脈を捉える。
• 連結またはアテンションベースの統合メカニズムを用いて、深層特徴と意味的属性を統合し、表現学習を豊かにする。
• 性能と一般化能力を評価するために、新規に構築したデータセットOutdoorSentおよび公開済みベンチマークで、統合モデルの学習と評価を実施する。
• 学習済みモデルをアメリカ・シカゴの実際の都市データに適用し、都市の地域ごとの感情分布を分析する。
• 学習済み表現の堅牢性と転送可能性をテストするために、クロスデータセット評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 意味的属性と深層特徴を統合することで、屋外画像の感情分類精度が向上するか？
• RQ2 異なるConvNetアーキテクチャ上で、提案フレームワークの性能はどのように異なるか？
• RQ3 屋外特化画像は、屋内画像と比較して、感情分類にどの程度寄与するか？
• RQ4 モデルは異なるデータセットや都市環境に効果的に一般化できるか？
• RQ5 都市部における感情分布と中央値収入などの社会経済的指標との間に相関関係は存在するか？

主な発見

• 意味的属性の統合は、評価されたすべてのConvNetアーキテクチャにおいて、感情分類精度を一貫して向上させた。
• 屋外画像に限定して学習したモデルは、屋内画像を含むモデルを上回る性能を示しており、この文脈では屋内データが性能向上に顕著に寄与していないことが示された。
• 提案フレームワークは、クロスデータセット一般化性能が向上しており、多様な都市環境においても堅牢であることが示された。
• シカゴにおける感情分布は、中央値収入などの社会経済的要因と相関しており、都市計画や社会科学研究における実用的価値が示された。
• モデルは特定の都市地域における感情のクラスタを効果的に同定できており、都市空間の主観的特性を明らかにした。