[논문 리뷰] Measuring Effectiveness of Video Advertisements

James Hahn, Adriana Kovashka|arXiv (Cornell University)|2019. 01. 15.

Advanced Text Analysis Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 인간이 라벨링한 비디오 특징과 컴퓨터 비전 기법을 조합한 하이브리드 기계학습 접근법을 제안하여 유튜브 광고의 효과성을 예측한다. 앙상블 모델을 사용해 이진 분류 정확도가 84%에 도달했으며, 개별 분류기 대비 성능이 30–35% 향상되었다.

ABSTRACT

Advertisements are unavoidable in modern society. Times Square is notorious for its incessant display of advertisements. Its popularity is worldwide and smaller cities possess miniature versions of the display, such as Pittsburgh and its digital works in Oakland on Forbes Avenue. Tokyo's Ginza district recently rose to popularity due to its upscale shops and constant onslaught of advertisements to pedestrians. Advertisements arise in other mediums as well. For example, they help popular streaming services, such as Spotify, Hulu, and Youtube TV gather significant streams of revenue to reduce the cost of monthly subscriptions for consumers. Ads provide an additional source of money for companies and entire industries to allocate resources toward alternative business motives. They are attractive to companies and nearly unavoidable for consumers. One challenge for advertisers is examining a advertisement's effectiveness or usefulness in conveying a message to their targeted demographics. Rather than constructing a single, static image of content, a video advertisement possesses hundreds of frames of data with varying scenes, actors, objects, and complexity. Therefore, measuring effectiveness of video advertisements is important to impacting a billion-dollar industry. This paper explores the combination of human-annotated features and common video processing techniques to predict effectiveness ratings of advertisements collected from Youtube. This task is seen as a binary (effective vs. non-effective), four-way, and five-way machine learning classification task. The first findings in terms of accuracy and inference on this dataset, as well as some of the first ad research, on a small dataset are presented. Accuracies of 84\%, 65\%, and 55\% are reached on the binary, four-way, and five-way tasks respectively.

연구 동기 및 목표

• 계산 특징과 인간 라벨링된 레이블을 활용해 광고 효과성을 자동으로, 인간의 개입 없이 예측하는 방법을 개발하는 것.
• 조회수나 댓글과 같은 후속 배포 지표에 의존하지 않고도 광고 효과성을 확장 가능한 방식으로 측정하는 과제를 해결하는 것.
• 하이브리드 앙상블 학습 알고리즘을 도입해 개별 분류기보다 예측 정확도를 향상시키는 것.
• 다양한 플랫폼, 해상도, 문화적 맥락에서 비디오 광고의 초기 단계에서의 효과성 평가를 가능하게 하는 것.
• 정적 이미지 데이터셋을 비디오 데이터의 보완적이고 덜 복잡한 대안으로 사용할 수 있는지의 실현 가능성을 탐색하는 것.

제안 방법

• 정규화 후 965개의 유튜브 비디오 광고 데이터셋을 수집하며, 효과성, 기억성, 클라이맥스 시점, 지속 시간에 대한 인간 라벨링 레이블을 포함한다.
• 표준 비디오 처리 기법을 사용해 샷 경계, 평균 톤, 광학 흐름, 객체 검출과 같은 저수준 시각적 특징을 추출한다.
• 비디오 콘텐츠에서 얼굴 표정 검출, 텍스트 인식, 감성/주제 모델링과 같은 고수준 특징을 통합한다.
• 각 특징 유형에 대해 별도로 지지벡터기계, 결정트리, 로지스틱 회귀 분류기를 훈련시킨다.
• 훈련 데이터의 기본 분포를 모델링하여 예측 성능을 향상시키는 새로운 하이브리드 앙상블 학습 알고리즘을 개발한다.
• 이 앙상블 모델을 이진, 4단계, 5단계 분류 작업 전반에 걸쳐 효과성 평가를 예측하는 데 적용한다.

실험 결과

연구 질문

• RQ1 인간 라벨링된 특징과 계산적으로 추출된 비디오 특징의 조합이 유튜브 광고의 효과성을 높은 정확도로 예측할 수 있는가?
• RQ2 다양한 평가 척도에서 앙상블 학습 모델은 개별 분류기와 비교해 비디오 광고 효과성 예측에 어떻게 성능을 냈는가?
• RQ3 사용자 참여 지표에 의존하지 않고도 저수준 및 고수준 시각적 특징이 광고 효과성 예측에 얼마나 기여하는가?
• RQ4 기본 모델 대비 하이브리드 앙상블 모델이 분류 정확도 향상에 미치는 영향은 어떠한가?
• RQ5 정적 이미지 데이터셋은 과적합 위험이 낮고 덜 복잡한 대안으로서 광고 효과성 모델링에 실현 가능할 수 있는가?

주요 결과

• 제안된 하이브리드 앙상블 학습 알고리즘이 비디오 광고 효과성 예측에서 이진 분류 정확도 84%를 달성했으며, 개별 분류기보다 뚜렷이 뛰어난 성능을 보였다.
• 이중, 4단계, 5단계 분류 작업 전반에서 앙상블 모델이 기본 모델 대비 예측 정확도를 30–35% 향상시켰다.
• 기억성, 클라이맥스 시점, 지속 시간과 같은 인간 라벨링 특징이 컴퓨터 비전 특징과 함께 효과성 예측에 의미 있는 기여를 하였다.
• 약 64,000장의 이미지로 구성된 정적 이미지 데이터셋은 복잡도가 낮고 과적합 위험이 낮아, 유망한 보조 대안으로 확인되었다.
• 이 연구는 시각적, 텍스처적, 구조적 비디오 특징의 조합을 통해 인간의 개입 없이 자동으로 비디오 효과성을 예측할 수 있음을 입증하였다.
• 향후 연구에서는 감성 또는 주제를 예측하기 위해 컨volutional 신경망을 훈련하고, 피드백 기반 GAN과 결합해 자동 광고 생성에 활용할 경우 효과성 예측을 더욱 향상시킬 수 있을 것으로 제안된다.