[논문 리뷰] Looking Beyond a Clever Narrative: Visual Context and Attention are Primary Drivers of Affect in Video Advertisements

Abhinav Shukla, Harish Katti외 2명|ePrints-IISc. (Indian Institute of Science Bangalore)|2018. 08. 14.

Emotion and Mood Recognition참고 문헌 55인용 수 6

한 줄 요약

이 논문은 영상 광고의 시각적 정보 채널을 분해하여 그 영향을 정량화하고자 한다. 분석 대상은 굵은 장면 구조, 탐지된 객체, 객체 통계, 그리고 눈의 주의를 통해 특정된 객체이다. 눈의 움직임 기록과 컴퓨터 비전 기술을 활용한 연구 결과, 서사나 객체 수준의 특징보다 굵은 장면 구조와 주의를 기울인 객체가 정서 예측에 더 강력한 예측 변수로 작용함을 확인하였으며, 이는 광고 정서 인식에서 서사의 우선성을 도전하는 결과이다.

ABSTRACT

Emotion evoked by an advertisement plays a key role in influencing brand recall and eventual consumer choices. Automatic ad affect recognition has several useful applications. However, the use of content-based feature representations does not give insights into how affect is modulated by aspects such as the ad scene setting, salient object attributes and their interactions. Neither do such approaches inform us on how humans prioritize visual information for ad understanding. Our work addresses these lacunae by decomposing video content into detected objects, coarse scene structure, object statistics and actively attended objects identified via eye-gaze. We measure the importance of each of these information channels by systematically incorporating related information into ad affect prediction models. Contrary to the popular notion that ad affect hinges on the narrative and the clever use of linguistic and social cues, we find that actively attended objects and the coarse scene structure better encode affective information as compared to individual scene objects or conspicuous background elements.

연구 동기 및 목표

• 영상 광고의 시각적 구성 요소 중 정서 유도에 가장 큰 영향을 미치는 요소를 이해하는 것.
• 정서 분석을 위한 해석 가능한 정보 채널로 광고 내용을 분해하는 것—장면 구조, 객체, 객체 통계, 주목된 영역 포함.
• 인간의 주의(눈의 움직임을 통한 측정)와 굵은 장면 맥락이 언어나 서사적 신호보다 정서 예측에 더 강력한 예측 변수인가를 조사하는 것.
• 정서 기반 영상 광고 및 광고 디자인을 위한 확장 가능하고 해석 가능한 프레임워크를 개발하는 것.

제안 방법

• 저자들은 영상 광고를 네 가지 독립적인 시각적 정보 채널으로 분해하였다: 굵은 장면 구조, 탐지된 장면 객체, 객체 통계, 눈의 움직임으로 특정된 주목된 객체.
• 시청자의 눈의 움직임 데이터를 활용해 광고 시청 중 주목된 객체를 식별하였으며, 이는 시각적 주목도의 척도로 기능한다.
• 인간 평가자로부터 제공된 정서 수준(정서성과 각성도) 정보를 기반으로 각 채널별로 별도의 정서 예측 모델을 훈련시켰다.
• 각 채널의 예측 능력을 평가하기 위해 모델 간 비교를 수행하였으며, 병합된 채널 성능을 평가하기 위해 제거 실험(ablation studies)도 실시하였다.
• 이 방법은 객체 탐지 및 장면 분류를 위한 컴퓨터 비전 기술을 활용하며, 인간의 주의를 모델링하기 위해 눈의 움직임 데이터를 통합한다.
• 이 프레임워크는 기존의 딥 러닝 아키텍처와 호환되며 확장 가능한 설계를 갖추고 있다.

실험 결과

연구 질문

• RQ1 영상 광고의 어떤 시각적 구성 요소가 시청자의 유도된 정서성과 각성도를 가장 강하게 예측하는가?
• RQ2 개별 객체나 배경 요소보다 굵은 장면 구조가 더 많은 정서 정보를 담고 있는가?
• RQ3 눈의 움직임으로 측정된 인간의 시각적 주의가 정서 반응 예측에서 객체 수준의 특징보다 어떻게 비교되는가?
• RQ4 서사나 언어적 신호가 정서 인식에서 얼마나 지배적인가? 시각적 맥락과 주의에 비해 어떤가?
• RQ5 저수준의 시각적 기술자료만으로도 짧은 영상 세그먼트에서 정서를 신뢰성 있게 예측할 수 있는가?

주요 결과

• 굵은 장면 구조가 정서성과 각성도 예측에서 가장 강력한 예측 변수이며, 개별 객체, 객체 통계, 심지어 전체 영상 콘텐츠보다도 뛰어난 성능을 보였다.
• 눈의 움직임으로 특정된 주의를 기울인 객체 역시 중요한 정서 정보를 지니며, 장면 구조에 이어 두 번째로 높은 예측 능력을 보였다.
• 모든 탐지 가능한 객체를 기반으로 훈련된 모델은 주로 주목된 객체만을 사용한 모델보다 성능이 열 劣하므로, 시각적 혼잡도가 정서 처리에 악영향을 줄 수 있음을 시사한다.
• 단순히 10초 정도의 광고 세그먼트에서도 정서 예측이 신뢰성 있게 가능함을 확인하여 실시간 계산 광고의 가능성에 기여한다.
• 장면 맥락과 주목된 객체를 통합한 모델이 가장 뛰어난 성능을 보였으며, 서사나 언어적 특징에 기반한 모델을 초월하였다.
• 기초적 또는 흐린 장면 기술자료만으로도 효과적인 정서 인식이 가능하므로, 확장 가능한 광고 시스템에 있어 낮은 계산 복잡도를 갖춘다.