[논문 리뷰] Deriving Emotions and Sentiments from Visual Content: A Disaster Analysis Use Case

Kashif Ahmad, Syed Zohaib Hassan외 2명|arXiv (Cornell University)|2020. 02. 03.

Sentiment Analysis and Opinion Mining참고 문헌 15인용 수 5

한 줄 요약

이 논문은 ImageNet 및 Places 데이터셋에서 사전 훈련된 모델의 객체 및 장면 수준 특징을 활용하여 재해 관련 이미지에 대한 딥러닝 기반 시각적 감성 분석기를 제안한다. 융합된 VGGNet 모델을 사용하여 81.34%의 최고 성능을 달성하였으며, 이는 복잡한 실제 시각 콘텐츠에서 객체 및 배경 특징을 융합할 경우 감성 예측 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

Sentiment analysis aims to extract and express a person's perception, opinions and emotions towards an entity, object, product and a service, enabling businesses to obtain feedback from the consumers. The increasing popularity of the social networks and users' tendency towards sharing their feelings, expressions and opinions in text, visual and audio content has opened new opportunities and challenges in sentiment analysis. While sentiment analysis of text streams has been widely explored in the literature, sentiment analysis of images and videos is relatively new. This article introduces visual sentiment analysis and contrasts it with textual sentiment analysis with emphasis on the opportunities and challenges in this nascent research area. We also propose a deep visual sentiment analyzer for disaster-related images as a use-case, covering different aspects of visual sentiment analysis starting from data collection, annotation, model selection, implementation and evaluations. We believe such rigorous analysis will provide a baseline for future research in the domain.

연구 동기 및 목표

• 복잡한 실제 재해 이미지에서 다수의 객체와 풍부한 배경 정보를 포함하는 경우, 시각적 감성 분석의 격차를 해소하기 위해.
• 데이터 수집, 커뮤니티 기반 캐릭터링을 통한 애너테이션, 모델 훈련을 포함하는 종합적인 시각적 감성 분석 파이프라인을 개발하기 위해.
• ImageNet(객체 수준) 및 Places(장면 수준) 데이터셋에서 사전 훈련된 특징을 융합함으로써 감성 예측 정확도 향상 효과를 평가하기 위해.
• 특히 재해 대응 및 인도적 구호 분야와 같은 수직 분야에서 향후 연구를 위한 기초 성능 기준을 설정하기 위해.

제안 방법

• 소셜 미디어 및 뉴스 자료에서 실제 사건을 중심으로 감정적 요소가 강한 재해 관련 이미지를 수집하였다.
• 다중 레이블 감성 카테고리로 이미지를 애너테이션하기 위해 커뮤니티 기반 연구를 수행하여 기준 진위성 확보를 위해 노력하였다.
• ImageNet(객체 수준) 및 Places(장면 수준) 데이터셋에서 사전 훈련된 딥러닝 모델(AlexNet, VGGNet, Inception-v3, ResNet)을 사용하여 재해 이미지 데이터에 맞게 미세조정하였다.
• ImageNet 및 Places에서 사전 훈련된 모델의 예측 결과를 융합하여 특징 표현을 향상시키기 위해 후기 융합 전략을 구현하였다.
• 다양한 딥러닝 아키텍처에서 표준 정확도 지표를 사용하여 성능을 평가하였다.
• 대규모 데이터셋에서 사전 훈련된 모델을 재해 이미지 감성 분석 작업에 특화된 작업에 적응시키기 위해 전이 학습을 활용하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥러닝 모델은 복잡한 장면과 다수의 객체를 포함한 재해 관련 이미지에서 감성을 얼마나 효과적으로 포착할 수 있는가?
• RQ2 ImageNet에서 유도된 객체 수준 특징과 Places에서 유도된 장면 수준 특징 간의 감성 분석에서의 상대적 기여도는 어떠한가?
• RQ3 객체 특징과 장면 특징을 동시에 활용할 경우, 각각을 별도로 사용하는 것보다 감성 예측 정확도 향상에 기여하는가?
• RQ4 어려운 실제 데이터셋에서 기존 접근 방식과 비교해 본다면, 제안된 프레임워크는 성능 및 내구성 측면에서 어떤가?
• RQ5 특히 얼굴 표정이 아닌 감정적으로 강한 비얼굴 시각 자극에서 감성 정의 및 추출의 주요 과제는 무엇인가?

주요 결과

• 제안된 딥 뷰잉 감성 분석기는 ImageNet 및 Places 데이터셋에서 사전 훈련된 VGGNet 모델을 사용한 후기 융합 전략을 통해 81.34%의 정확도를 달성하였다.
• Inception-v3는 테스트된 모델들 중에서 가장 높은 개별 성능을 보였으며, 재해 이미지 데이터셋에서 80.70%의 정확도를 기록하였다.
• ImageNet 사전 훈련된 모델(VGGNet)을 사용할 경우 Places 사전 훈련된 모델 대비 0.5%의 정확도 향상을 관찰하여 객체 수준 특징의 중요성을 확인하였다.
• ImageNet 및 Places 특징의 융합은 성능 향상에 상당한 기여를 하였으며, 이는 복잡한 이미지에서 감성 이해를 위해 객체 및 배경 정보가 모두 필수적임을 확인한다.
• 본 연구는 재해 이미지의 감성이 얼굴 표정 외에도 맥락적이고 환경적인 단서에 의해 유도됨을 강조하며, 이는 다중모달 특징 융합의 필요성을 시사한다.
• 커뮤니티 기반 애너테이션은 데이터 애너테이션에 효과적이었지만, 레이블 선택 과정은 여전히 핵심 과제로 남아 있어, 사전 정의된 감성 카테고리가 아닌 데이터 기반 접근이 필요함을 시사한다.