[논문 리뷰] Learning to Create Better Ads: Generation and Ranking Approaches for Ad Creative Refinement

Shaunak Mishra, Manisha Verma외 3명|arXiv (Cornell University)|2020. 08. 17.

Advanced Text Analysis Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 다수 광고주 A/B 테스트 데이터를 기반으로 한 협업형, 데이터 기반 프레임워크를 제안하여 자동 광고 캐릭터 개선을 수행한다. 광고 텍스트 개선을 위한 순서-순서 생성 및 복사 메커니즘을 도입하고, 关련성 높은 키워드어 및 이미지 태그 순위 매기기 위한 딥 레벨런스 매칭 모델을 적용하여 실제 광고주들과의 온라인 A/B 테스트에서 CTR 87% 향상을 달성한다.

ABSTRACT

In the online advertising industry, the process of designing an ad creative (i.e., ad text and image) requires manual labor. Typically, each advertiser launches multiple creatives via online A/B tests to infer effective creatives for the target audience, that are then refined further in an iterative fashion. Due to the manual nature of this process, it is time-consuming to learn, refine, and deploy the modified creatives. Since major ad platforms typically run A/B tests for multiple advertisers in parallel, we explore the possibility of collaboratively learning ad creative refinement via A/B tests of multiple advertisers. In particular, given an input ad creative, we study approaches to refine the given ad text and image by: (i) generating new ad text, (ii) recommending keyphrases for new ad text, and (iii) recommending image tags (objects in image) to select new ad image. Based on A/B tests conducted by multiple advertisers, we form pairwise examples of inferior and superior ad creatives, and use such pairs to train models for the above tasks. For generating new ad text, we demonstrate the efficacy of an encoder-decoder architecture with copy mechanism, which allows some words from the (inferior) input text to be copied to the output while incorporating new words associated with higher click-through-rate. For the keyphrase and image tag recommendation task, we demonstrate the efficacy of a deep relevance matching model, as well as the relative robustness of ranking approaches compared to ad text generation in cold-start scenarios with unseen advertisers. We also share broadly applicable insights from our experiments using data from the Yahoo Gemini ad platform.

연구 동기 및 목표

• 온라인 광고에서 광고 캐릭터 설계 및 개선 과정의 시간 소모와 수작업 문제를 해결하기 위해.
• 다양한 광고주 간 협업형 A/B 테스트 데이터를 활용해 광고 캐릭터 생성 및 순위 매기기 성능을 향상시키기 위해.
• 중간 단계의 CTR 예측 모델에 의존하지 않고도 개선된 광고 텍스트를 생성하고 효과적인 키워드어 및 이미지 태그를 추천할 수 있는 모델을 개발하기 위해.
• 미리 알려지지 않은 광고주에 대한 콜드 스타트 시나리오에서 순위 기반 접근 방식의 견고성 평가하기 위해.
• 주요 광고주들과의 실제 A/B 테스트를 통해 제안된 프레임워크의 효과성 검증하기 위해.

제안 방법

• 다양한 광고주 A/B 테스트에서 유도된 열등한 광고 캐릭터와 우수한 광고 캐릭터의 쌍으로 구성된 예제를 사용해 모델을 훈련한다.
• 복사 메커니즘을 갖춘 인코더-디코더 아키텍처를 활용해 새로운 광고 텍스트를 생성하며, 입력에서 성능이 좋은 단어를 복사하면서도 높은 CTR를 유도하는 신규 단어를 도입한다.
• 질의-항목 특징(예: 카테고리, 이미지 태그)을 사용한 딥 레이어 레이어 매칭 모델(DRMM)을 적용해 키워드어 및 이미지 태그의 순위를 매긴다.
• 카테고리 및 이미지 태그 특징을 질의 항목으로 통합해 순위 매칭 모델의 관련성 향상에 기여한다.
• 생성 모델과 순위 매칭 모델의 출력을 융합하기 위해 상위 순위의 키워드어를 생성된 텍스트에 삽입하여 커버리지와 리콜을 향상시킨다.
• Yahoo Gemini 계정 팀을 대상으로 내부 서비스로 순위 매칭 모델을 구현해 엔드 투 엔드 A/B 테스트를 실시한다.

실험 결과

연구 질문

• RQ1 다양한 광고주 간 협업형 A/B 테스트 데이터를 효과적으로 활용해 자동 광고 캐릭터 개선 모델을 훈련시킬 수 있는가?
• RQ2 복사 메커니즘을 갖춘 순서-순서 생성 기법이 기준 모델 대비 높은 CTR를 유도하는 광고 텍스트를 얼마나 효과적으로 생성하는가?
• RQ3 키워드어 및 이미지 태그 추천을 위한 순위 기반 접근 방식이 콜드 스타트 시나리오에서 미리 알려지지 않은 광고주에게 얼마나 일반화되는가?
• RQ4 순위 매칭 결과를 생성 모델 결과와 융합함으로써 개선된 광고 캐릭터의 품질과 커버리지가 향상되는가?
• RQ5 제안된 프레임워크가 주요 광고주들과의 실제 A/B 테스트에서 측정 가능한 CTR 향상 효과를 가져오는가?

주요 결과

• 복사 메커니즘을 적용한 광고 텍스트 생성 모델은 콜드 스타트 시나리오에서 키워드어 리콜의 R@10에서 7% 감소를 기록했으며, 이는 기준 생성 모델의 33% 감소보다 유의미하게 우수하다.
• 카테고리 및 이미지 태그를 질의 항목으로 사용한 DRMM 기반 키워드어 순위 매칭은 NDCG@10에서 54%의 점수를 기록해 TF-IDF 및 EMB-SIM 기준 모델을 압도했다.
• 카테고리 및 이미지 태그를 함께 사용한 DRMM 기반 이미지 태그 순위 매칭은 NDCG@10에서 55%의 점수를 기록했으며, 상위 순위 태그가 카테고리와 강한 의미적 일치를 보였다(예: 자동차 카테고리에 대해 'car'와 'wheel' 태그).
• 생성된 텍스트에 상위 순위의 키워드어를 통합함으로써 콜드 스타트 설정에서 리콜이 0.43에서 0.45로 향상되었으며, 정밀도는 영향을 받지 않아 효과적인 보완 관계를 입증했다.
• 주요 인터넷 서비스 제공업체와의 온라인 A/B 테스트에서 개선된 캐릭터 광고의 CTR가 87% 향상되어 실제 영향력을 입증했다.
• 콜드 스타트 시나리오에서 순위 기반 접근 방식이 텍스트 생성보다 더 뛰어난 견고성을 보였으며, 특히 미리 알려지지 않은 광고주에게도 강력한 성능을 유지했다.