[论文解读] Affective Image Content Analysis: Two Decades Review and New Perspectives

Sicheng Zhao, Xingxu Yao+6 more|arXiv (Cornell University)|Jun 30, 2021

Image Retrieval and Classification Techniques参考文献 175被引用 5

一句话总结

本文对过去二十年间情感图像内容分析（AICA）进行了全面综述，涵盖了情绪表征模型、数据集、特征提取方法（手工设计与深度学习）、情绪识别的学习技术及应用。文章识别出关键挑战，如情感鸿沟、感知主观性及标签噪声，并提出未来研究方向，包括上下文感知建模、个性化情绪预测以及面向实际部署的高效设备端学习。

ABSTRACT

Images can convey rich semantics and induce various emotions in viewers. Recently, with the rapid advancement of emotional intelligence and the explosive growth of visual data, extensive research efforts have been dedicated to affective image content analysis (AICA). In this survey, we will comprehensively review the development of AICA in the recent two decades, especially focusing on the state-of-the-art methods with respect to three main challenges -- the affective gap, perception subjectivity, and label noise and absence. We begin with an introduction to the key emotion representation models that have been widely employed in AICA and description of available datasets for performing evaluation with quantitative comparison of label noise and dataset bias. We then summarize and compare the representative approaches on (1) emotion feature extraction, including both handcrafted and deep features, (2) learning methods on dominant emotion recognition, personalized emotion prediction, emotion distribution learning, and learning from noisy data or few labels, and (3) AICA based applications. Finally, we discuss some challenges and promising research directions in the future, such as image content and context understanding, group emotion clustering, and viewer-image interaction.

研究动机与目标

• 系统回顾过去二十年间情感图像内容分析（AICA）的演进历程。
• 分析并比较AICA中使用的主流情绪表征模型与数据集，重点关注标签噪声与数据集偏差问题。
• 考察情绪特征提取的最先进方法，包括在噪声标签或少样本数据下的学习方法，以及个性化情绪预测。
• 识别开放性挑战，如情感鸿沟、感知主观性，以及缺乏高效的设备端学习框架。
• 提出未来研究方向，包括上下文理解、群体情绪聚类以及交互式观图-情绪建模。

提出的方法

• 系统梳理并分类广泛使用的情绪表征模型，包括分类模型与维度模型（如Parrott模型）。
• 分析并比较主要的AICA数据集（如IAPSa与IESN），对标签噪声与偏差进行量化评估。
• 回顾手工设计特征（如Gabor、Gist、ANPs、艺术原则）与深度特征（如CNNs、基于区域的特征）在情绪表征中的应用。
• 评估主导情绪识别、情绪分布学习以及在噪声标签或标签有限条件下的鲁棒训练方法。
• 探索AICA在情感智能、机器人、心理健康监测以及基于GAN的内容生成中的应用。
• 提出未来研究方向，如层次化情绪建模、上下文感知分析，以及通过模型压缩与量化实现的高效设备端学习。

实验结果

研究问题

• RQ1 在AICA中，情绪表征模型如何演变？哪些模型在捕捉人类情感反应方面最为有效？
• RQ2 现有AICA数据集在标签质量、偏差与可扩展性方面存在哪些关键局限？
• RQ3 深度特征在多大程度上能够弥合低层次视觉特征与高层次情感反应之间的情感鸿沟？
• RQ4 如何使AICA模型对标签噪声具有鲁棒性，并在少样本或弱监督学习设置下保持高效？
• RQ5 在上下文理解、个性化与实际部署方面，哪些是推动AICA发展的最有前景的未来方向？

主要发现

• 情感鸿沟仍是核心挑战，即使图像中包含相似对象，低层次视觉特征仍难以捕捉高层次情感反应。
• 手工设计特征（如Gabor、Gist、ANPs）虽被广泛使用，但正逐渐被CNNs与基于区域的网络所提取的深度特征超越。
• 标签噪声与数据集偏差显著影响模型泛化能力，自动标注方法（如基于关键词的标注）在大规模数据集中引入了不准确性。
• 个性化情绪预测更符合人类情绪感知的主观性，可通过用户特定建模与上下文感知特征更好地捕捉。
• 尽管对移动与边缘设备上实时、隐私保护的情绪推理需求不断增长，但AICA的高效设备端学习仍研究不足。
• 未来AICA的发展将受益于大规模、高质量的数据集，其应包含个性化标注与社交互动元数据（如点赞与面部反应）。”