[논문 리뷰] ADVISE: Symbolism and External Knowledge for Decoding Advertisements

Keren Ye, Adriana Kovashka|arXiv (Cornell University)|2017. 11. 17.

Multimodal Machine Learning Applications인용 수 3

한 줄 요약

ADVISE는 시각-언어 표현 모델로, 공공서비스광고(PSA) 및 상업 광고의 이해를 향상시키기 위해 상징적 연관성(예: 총 = 위험, 오토바이 = 모험)과 객체 검출 및 이미지 캡션화로부터의 외부 지식을 활용한다. 공동의 이미지-텍스트 임베딩 공간에서 기호 레이블과 객체 예측 결과를 제약 조건 및 덧셈형 구성요소로 통합함으로써, 광고 이해 과제에서 기존 최고 성능(SOTA) 대비 21% 상대적 향상을 달성하였으며, 슬로건 검색 및 클러스터링과 같은 작업에서 강력한 제로샷 성능을 보였다.

ABSTRACT

In order to convey the most content in their limited space, advertisements embed references to outside knowledge via symbolism. For example, a motorcycle stands for adventure (a positive property the ad wants associated with the product being sold), and a gun stands for danger (a negative property to dissuade viewers from undesirable behaviors). We show how to use symbolic references to better understand the meaning of an ad. We further show how anchoring ad understanding in general-purpose object recognition and image captioning improves results. We formulate the ad understanding task as matching the ad image to human-generated statements that describe the action that the ad prompts, and the rationale it provides for taking this action. Our proposed method outperforms the state of the art on this task, and on an alternative formulation of question-answering on ads. We show additional applications of our learned representations for matching ads to slogans, and clustering ads according to their topic, without extra training.

연구 동기 및 목표

• 비유적이고 개념적으로 복잡한 공공서비스광고(PSA)의 이해를 향상시키기 위해 상징적 참조와 외부 지식을 모델링함으로써 광고 이해 능력을 향상시키는 것.
• 비유적이고 비직관적인 메시지를 포함한 광고에서 시각-세맨틱 임베딩을 활용해 상징적 맵핑과 객체 수준의 인식을 통합함으로써 의미를 해독하는 과제를 해결하는 것.
• 현대적인 객체 검출 및 주의 메커니즘과 결합된 상징 지식이 기존의 표준 시각-세맨틱 임베딩 방법을 뛰어넘는 성능 향상을 이끌어내는지 입증하는 것.
• ADVISE에서 학습된 표현이 추가 학습 없이도 제로샷 작업인 슬로건 검색 및 주제 기반 클러스터링에 일반화되는지 보여주는 것.

제안 방법

• 광고 이미지를 광고의 의도적 행동과 그 이유를 설명하는 문장으로 매핑하는 공동의 이미지-텍스트 임베딩 공간을 학습하며, 삼중조 순서 손실을 사용한다.
• 이미지 표현은 영역 제안 네트워크(예: Faster R-CNN)를 통해 추출된 영역 특징을 기반으로 구축되며, 주의 메커니즘이 각 영역에 중요도 가중치를 할당한다.
• 상징적 연관성(예: '총' → '위험')은 임베딩 공간을 정규화하기 위한 제약 조건으로 사용되어 유사한 상징적 의미를 가진 이미지들이 임베딩 공간에서 가까워지도록 보장한다.
• 객체 검출 예측 결과는 도메인 특화 지식 기반 시스템을 통해 상징적 개념으로 매핑되며, 이는 영역 특징을 개선하기 위해 덧셈형 구성요소로 활용된다.
• 노이즈가 섞인 이미지 캡션을 외부 지식의 원천으로 활용하여 캡션의 단어를 이미지 영역으로 전파함으로써 의미 일치도를 향상시킨다.
• 최종 이미지 표현은 영역 특징, 기반 상징 제약 조건, 지식 강화된 임베딩을 통합하여, 후행 작업에 대한 강력한 제로샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 예를 들어 총이 위험을 상징하는 것처럼 상징적 연관성(예: 총 = 위험)을 효과적으로 활용하여 비유적이고 개념적인 메시지를 담은 공공서비스광고의 이해를 향상시킬 수 있는가?
• RQ2 객체 검출 및 이미지 캡션화로부터의 외부 지식을 통합할 경우, 광고 이해 과제에서 시각-세맨틱 임베딩의 성능이 어떻게 향상되는가?
• RQ3 상징적 제약 조건과 지식 증강된 이미지 표현이 슬로건 검색 및 주제 기반 클러스터링과 같은 제로샷 과제에 얼마나 잘 일반화되는가?
• RQ4 최근의 객체 인식 기술(예: 영역 제안 및 주의 메커니즘)을 사용할 경우, 전통적인 인식 파이프라인에 비해 광고 이해 능력이 상당히 향상되는가?

주요 결과

• ADVISE는 광고 메시지와 그 이유를 설명하는 인간이 작성한 문장으로 광고를 매칭하는 주요 광고 이해 과제에서 기존 최고 성능(SOTA) 대비 21% 상대적 향상을 달성했다.
• 질문-답변 분류 과제에서 ADVISE는 PSA에 대해 10.94%의 상위 1위 정확도를 기록했으며, 제품 광고에 대해서는 12.64%를 기록했다. 이는 이전 SOTA 방법 대비 각각 9%와 6% 향상된 성과이다.
• 어려운 문장 검색 과제에서 ADVISE는 4.827(±0.025)의 순위를 기록했으며, VSE++(5.635)와 Hussain-Ranking(5.595)를 크게 앞서는 성능을 보여, 뛰어난 제로샷 일반화 능력을 입증했다.
• 슬로건 검색 과제에서 ADVISE는 3.331(±0.077)의 순위를 기록하여 다음으로 우수한 방법에 비해 상당한 향상을 보였으며, 학습된 표현의 뛰어난 전이 가능성(transferability)을 시사한다.
• 주제 기반 클러스터링 과제에서 ADVISE는 동질성 점수 0.355(±0.001)를 기록했으며, VSE++(0.292)와 Hussain-Ranking(0.291)보다 유의미하게 높아, 주제별로 광고를 더 잘 군집화하는 능력을 보였다.
• 이 방법은 개념적 지식(기호)이 PSA에는 더 유익하며, 일반적인 객체 인식 기술은 제품 광고에 더 효과적임을 보여주며, 외부 지식 소스의 과제에 따라 유용성이 달라지는 것을 입증했다.