[논문 리뷰] Affective Image Content Analysis: Two Decades Review and New Perspectives

Sicheng Zhao, Xingxu Yao외 6명|arXiv (Cornell University)|2021. 06. 30.

Image Retrieval and Classification Techniques참고 문헌 175인용 수 5

한 줄 요약

이 논문은 지난 20년간의 정서적 이미지 콘텐츠 분석(AICA)에 대한 종합적인 리뷰를 제공하며, 정서 표현 모델, 데이터셋, 특징 추출 방법(수작업 및 딥러닝), 정서 인식을 위한 학습 기법, 그리고 응용 분야를 다룹니다. 정서 갭, 인식의 주관성, 레이블 노이즈 등의 핵심 과제를 규명하고, 맥락 인식 모델링, 개인화된 정서 예측, 실세계 구현을 위한 효율적인 온디바이스 학습 등의 향후 방향을 제안합니다.

ABSTRACT

Images can convey rich semantics and induce various emotions in viewers. Recently, with the rapid advancement of emotional intelligence and the explosive growth of visual data, extensive research efforts have been dedicated to affective image content analysis (AICA). In this survey, we will comprehensively review the development of AICA in the recent two decades, especially focusing on the state-of-the-art methods with respect to three main challenges -- the affective gap, perception subjectivity, and label noise and absence. We begin with an introduction to the key emotion representation models that have been widely employed in AICA and description of available datasets for performing evaluation with quantitative comparison of label noise and dataset bias. We then summarize and compare the representative approaches on (1) emotion feature extraction, including both handcrafted and deep features, (2) learning methods on dominant emotion recognition, personalized emotion prediction, emotion distribution learning, and learning from noisy data or few labels, and (3) AICA based applications. Finally, we discuss some challenges and promising research directions in the future, such as image content and context understanding, group emotion clustering, and viewer-image interaction.

연구 동기 및 목표

• 지난 20년간 정서적 이미지 콘텐츠 분석(AICA)의 진화를 체계적으로 검토하기 위해.
• AICA에서 사용된 주요 정서 표현 모델과 데이터셋을 분석하고 비교하며, 레이블 노이즈와 데이터셋 편향에 중점을 두기 위해.
• 정서 특징 추출의 최신 기법, 노이즈가 있는 데이터나 소수의 레이블에서의 학습, 개인화된 정서 예측을 검토하기 위해.
• 정서 갭, 인식의 주관성, 효율적인 온디바이스 학습 프레임워크 부족 등의 열린 과제를 규명하기 위해.
• 향후 연구 방향으로는 맥락 이해, 군집된 정서 분석, 상호작용 기반 시각자-정서 모델링 등을 제안하기 위해.

제안 방법

• 범주형 및 차원형 모델(예: Parrott 모델 포함)을 포함한 널리 사용되는 정서 표현 모델을 조사하고 분류하기 위해.
• IAPSa 및 IESN과 같은 주요 AICA 데이터셋을 분석하고 비교하며, 레이블 노이즈와 편향에 대한 정량적 평가를 수행하기 위해.
• Gabor, Gist, ANPs, 예술적 원칙 등의 수작업 특징과 CNNs, 영역 기반 특징 등의 딥러닝 특징을 정서 표현을 위해 검토하기 위해.
• 주된 정서 인식, 정서 분포 학습, 노이즈 또는 제한된 레이블 하에서의 강건한 학습을 위한 학습 기법을 평가하기 위해.
• 감성 지능, 로봇공학, 정신 건강 모니터링, GAN을 활용한 콘텐츠 생성 분야에서 AICA의 응용을 탐색하기 위해.
• 계층적 정서 모델링, 맥락 인식 분석, 모델 압축 및 정밀도 감소를 통한 효율적인 온디바이스 학습 등의 향후 연구 방향을 제안하기 위해.

실험 결과

연구 질문

• RQ1 AICA에서 정서 표현 모델은 어떻게 진화해왔으며, 인간의 정서적 반응을 가장 효과적으로 포착하는 데 어떤 것이 가장 유용한가?
• RQ2 기존 AICA 데이터셋의 레이블 품질, 편향, 확장성 측면에서의 주요 제약은 무엇인가?
• RQ3 딥러닝 특징은 저수준의 이미지 특징과 고수준의 정서적 반응 사이의 정서 갭을 어느 정도 해소할 수 있는가?
• RQ4 AICA 모델은 어떻게 하면 레이블 노이즈에 강건하고, 소수의 샘플 또는 약한 지도 학습 환경에서도 효과적으로 작동하도록 만들 수 있는가?
• RQ5 특히 맥락 이해, 개인화, 실세계 구현 측면에서 AICA를 발전시키기 위한 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 저수준의 시각적 특징이 비록 유사한 객체를 포함하고 있더라도 고수준의 정서적 반응을 포착하지 못함에 따라, 정서 갭은 여전히 핵심 과제로 남아 있다.
• Gabor, Gist, ANPs 등의 수작업 특징은 널리 사용되었지만, CNN 및 영역 기반 네트워크에서 유도된 딥러닝 특징에 의해 점점 더 능가되고 있다.
• 레이블 노이즈와 데이터셋 편향은 모델의 일반화 능력에 심각한 영향을 미치며, 키워드 기반 레이블링과 같은 자동화된 주석 방법은 대규모 데이터셋에서 정확도를 떨어뜨리는 원인이 된다.
• 개인화된 정서 예측은 인간의 정서 인식의 주관성과 더 잘 부합하며, 사용자별 모델링과 맥락 인식 특징을 통해 더 잘 포착될 수 있다.
• 실시간이며 프라이버시를 보장하는 모바일 및 엣지 디바이스에서의 정서 추론 수요가 증가하고 있음에도 불구하고, AICA를 위한 효율적인 온디바이스 학습은 아직 탐색되지 않은 분야이다.
• 향후 AICA 발전은 개인화된 주석과 사회적 상호작용 메타데이터(예: 좋아요, 얼굴 반응 등)를 포함한 대규모 고품질 데이터셋의 확보에 기여할 것이다.