[논문 리뷰] Story Understanding in Video Advertisements

Keren Ye, Kyle Buettner외 1명|ArXiv.org|2018. 07. 29.

Cinema and Media Studies인용 수 6

한 줄 요약

이 논문은 시각적, 청각적, 의미적 맥락 특징을 기반으로 비지도 학습 및 지도 학습 방법을 융합하여 비디오 광고의 클라이맥스를 예측하는 새로운 프레임워크를 제안한다. 광학 흐름, 샷 경계, 음성 세기, 장면/객체/얼굴 특징을 LSTM 기반의 정서 모델에 통합함으로써, 최신 기술 대비 정서 예측 성능을 25% 향상시킨다.

ABSTRACT

In order to resonate with the viewers, many video advertisements explore creative narrative techniques such as "Freytag's pyramid" where a story begins with exposition, followed by rising action, then climax, concluding with denouement. In the dramatic structure of ads in particular, climax depends on changes in sentiment. We dedicate our study to understand the dynamic structure of video ads automatically. To achieve this, we first crowdsource climax annotations on 1,149 videos from the Video Ads Dataset, which already provides sentiment annotations. We then use both unsupervised and supervised methods to predict the climax. Based on the predicted peak, the low-level visual and audio cues, and semantically meaningful context features, we build a sentiment prediction model that outperforms the current state-of-the-art model of sentiment prediction in video ads by 25%. In our ablation study, we show that using our context features, and modeling dynamics with an LSTM, are both crucial factors for improved performance.

연구 동기 및 목표

• 비디오 광고의 역동적인 서사 구조, 특히 정서적 영향을 주는 클라이맥스를 자동으로 이해하는 것.
• 시간적 동적 특징과 의미적 맥락을 모델링하여 기존 최신 기술 모델을 초월해 비디오 광고의 정서 예측 성능을 향상시키는 것.
• 클라이맥스가 촬영 경계와 광학 흐름 피크와 같은 시각적·청각적 변화와 관련이 있다는 가설을 검증하는 것.
• 장면 유형, 물체, 얼굴 표정과 같은 의미적 맥락이 관객의 정서에 어떻게 영향을 주는지 조사하는 것.
• 저수준의 동적 특징과 고수준의 의미적 특징을 융합하는 통합 프레임워크를 개발하여 더 정확한 정서 예측을 달성하는 것.

제안 방법

• 비디오 광고 데이터셋의 1,149개 비디오에서 클라이맥스 주석을 커뮤니티 기반으로 수집하여 클라이맥스 검출을 위한 새로운 벤치마크를 구축한다.
• 비지도 학습 방법을 사용하여 광학 흐름, 샷 경계, 음성 세기의 피크를 극적인 강도의 대체 지표로 삼아 클라이맥스를 예측한다.
• 이러한 동적 신호를 입력 특징으로 사용하여 지도 학습 기반의 클라이맥스 예측 모델을 훈련시킨다.
• 프레임 단위로 장면 레이블(장소), 물체 검출, 얼굴 표정 예측과 같은 의미적 맥락 특징을 추출한다.
• 클라이맥스 예측 결과와 ResNet 기반의 시각적 특징을 포함한 모든 특징을 LSTM 기반 순환 모델에 통합하여 순차적 정서 예측을 수행한다.
• 다중 특징 스트림을 통합하기 위해 후기 융합 전략을 사용하며, 구성 요소별 기여도 평가를 위한 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 비지도 학습 기반의 시각적·청각적 동적 특징(예: 광학 흐름, 샷 경계, 세기)이 비디오 광고의 클라이맥스를 얼마나 잘 예측할 수 있는가?
• RQ2 장소, 물체, 얼굴 표정과 같은 의미적 맥락 특징이 비디오 광고의 정서 예측에 얼마나 기여하는가?
• RQ3 클라이맥스 검출과 의미적 맥락을 함께 모델링하는 통합 접근 방식이 기존 최신 기술 모델을 초월할 수 있는가?
• RQ4 개별 특징 중 어떤 것이 정서 예측에 가장 크게 기여하는가? 그리고 감정 유형에 따라 이 기여도는 어떻게 다를까?
• RQ5 LSTM을 통한 시간적 동적 특징 통합이 정적 또는 비순환 모델 대비 정서 예측 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 LSTM 기반의 정서 예측 모델은 기존 최신 기술 모델 대비 정서 예측 정확도에서 25% 향상되었으며, 평균 정밀도(mAP)는 0.313을 기록했다.
• 분석 실험 결과, 맥락 특징(장소, 물체, 얼굴 표정)과 LSTM 기반의 동적 특징 모델링이 성능 향상에 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 특징 '장소'는 '교육적' 정서 예측에 가장 큰 기여를 하였으며, 이는 교육적 정서가 특정 환경(예: 교실)과 강하게 연관되어 있다는 가설과 일치한다.
• 특징 '청각'은 '분노' 정서 예측에서 ResNet 전용 기준 대비 43% 향상시켰으며, 이는 청각적 동적 특징이 특정 감정에 매우 유용하다는 것을 시사한다.
• 정성적 예시에서 전체 모델은 '패션스러움'과 '놀라움' 정서를 올바르게 식별하는 반면, 기준 모델은 실패함으로써 의미적 및 동적 신호의 가치를 입증한다.
• 모든 특징을 포함한 전체 모델은 모든 정서 유형에서 mAP 0.094를 달성하여 ResNet 전용 기준인 0.074보다 유의미하게 높았으며, 모든 개별 정서 유형에서 성능 향상이 관찰되었다.