[論文レビュー] Affective Image Content Analysis: Two Decades Review and New Perspectives

Sicheng Zhao, Xingxu Yao+6 more|arXiv (Cornell University)|Jun 30, 2021

Image Retrieval and Classification Techniques参考文献 175被引用数 5

ひとこと要約

本論文は、過去20年間における感情的画像コンテンツ分析（AICA）の包括的レビューを提供しており、感情表現モデル、データセット、特徴抽出手法（手作業によるものとディープラーニングによるもの）、感情認識のための学習手法、および応用分野を網羅している。感情ギャップ、知覚の主観性、ラベルノイズといった主な課題を特定し、今後の方向性として文脈に配慮したモデリング、個人に合わせた感情予測、実世界への展開に向けた効率的なデバイス内学習を提案している。

ABSTRACT

Images can convey rich semantics and induce various emotions in viewers. Recently, with the rapid advancement of emotional intelligence and the explosive growth of visual data, extensive research efforts have been dedicated to affective image content analysis (AICA). In this survey, we will comprehensively review the development of AICA in the recent two decades, especially focusing on the state-of-the-art methods with respect to three main challenges -- the affective gap, perception subjectivity, and label noise and absence. We begin with an introduction to the key emotion representation models that have been widely employed in AICA and description of available datasets for performing evaluation with quantitative comparison of label noise and dataset bias. We then summarize and compare the representative approaches on (1) emotion feature extraction, including both handcrafted and deep features, (2) learning methods on dominant emotion recognition, personalized emotion prediction, emotion distribution learning, and learning from noisy data or few labels, and (3) AICA based applications. Finally, we discuss some challenges and promising research directions in the future, such as image content and context understanding, group emotion clustering, and viewer-image interaction.

研究の動機と目的

• 過去20年間にわたり、感情的画像コンテンツ分析（AICA）の進化を体系的にレビューすること。
• AICAで用いられる主要な感情表現モデルとデータセットを分析・比較し、ラベルノイズとデータセットバイアスに特に注目すること。
• 最新の感情特徴抽出手法、ノイズのあるラベルや少数ラベルデータからの学習、個人に合わせた感情予測の検討。
• 感情ギャップ、知覚の主観性、効率的なデバイス内学習フレームワークの欠如といった、未解決の課題を特定すること。
• 今後の研究方向性として、文脈理解、グループ感情クラスタリング、インタラクティブな視聴者-画像感情モデリングを提案すること。

提案手法

• 広く用いられている感情表現モデル（カテゴリー型および次元型モデル、例：Parrottモデルなど）を調査・分類すること。
• IAPSa や IESN などの主要な AICA データセットを分析・比較し、ラベルノイズとバイアスの定量的評価を行うこと。
• Gabor や Gist、ANPs、芸術的原則などの手作業による特徴と、CNN や領域ベースの特徴などのディープラーニング特徴を、感情表現の観点からレビューすること。
• 支配的感情認識、感情分布学習、ラベルノイズや限られたラベル下でのロバストな学習のための学習手法を評価すること。
• GANS を用いたコンテンツ生成を含め、感情知能、ロボット工学、メンタルヘルスの監視分野における AICA の応用を検討すること。
• 階層的感情モデリング、文脈に配慮した分析、モデル圧縮と量子化による効率的なデバイス内学習といった、今後の研究方向性を提案すること。

実験結果

リサーチクエスチョン

• RQ1 AICAにおける感情表現モデルはどのように進化してきたのか。また、人間の感情的反応を捉えるのに最も効果的なモデルは何か？
• RQ2 既存の AICA データセットは、ラベル品質、バイアス、スケーラビリティの観点で、どのような主な制限を抱えているか？
• RQ3 ディープラーニング特徴は、低レベルの画像特徴と高レベルの感情的反応との間の感情ギャップをどの程度埋めることができるか？
• RQ4 AICA モデルは、ラベルノイズに強く、少サンプルまたは弱教師あり学習環境でも効果的に機能するようにどのように設計できるか？
• RQ5 文脈理解、パーソナライズ、実世界への展開といった観点で、AICAを進歩させるために最も有望な今後の研究方向性は何か？

主な発見

• 感情ギャップは依然として中心的な課題であり、同じオブジェクトを含む画像であっても、低レベルの視覚的特徴が高レベルの感情的反応を捉えきれないことが問題である。
• Gabor や Gist、ANPs といった手作業による特徴は広く使われてきたが、CNN や領域ベースのネットワークからのディープラーニング特徴に次第に劣っている。
• ラベルノイズとデータセットバイアスは、モデルの一般化性能に顕著な影響を与え、キーワードベースのラベリングなどの自動アノテーション手法が大規模データセットに不正確さをもたらしている。
• 個人に合わせた感情予測は、人間の感情知覚の主観性に合致しており、ユーザー固有のモデリングと文脈に配慮した特徴を用いることでより良く捉えられる。
• AICA における効率的なデバイス内学習は、モバイル機器やエッジデバイスでリアルタイムかつプライバシーを守った感情推論が求められる中で、まだ十分に検討されていない。
• 今後の AICA の発展には、パーソナライズされたアノテーションと、いいねや顔の反応といった社会的相互作用のメタデータを含む大規模かつ高品質なデータセットの構築が不可欠である。