[논문 리뷰] Modeling the Sequential Dependence among Audience Multi-step Conversions with Multi-task Learning in Targeted Display Advertising

Dongbo Xi, Zhen Chen외 5명|arXiv (Cornell University)|2021. 05. 18.

Data Stream Mining Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 표적 표시 광고에서 다단계 청중 전환의 순차적 의존성을 모델링하기 위해 적응형 정보 전달 다중작업(Adaptive Information Transfer Multi-task, AITM) 프레임워크를 제안한다. 이는 단계 간 지식 공유를 동적으로 제어하는 적응형 정보 전달 모듈을 사용한다. 이 방법은 극심한 클래스 불균형 상황에서도 종합 전환 예측 성능을 크게 향상시키며, 산업계 및 공개 데이터셋에서 최신 기술 수준의 성능을 보인다.

ABSTRACT

In most real-world large-scale online applications (e.g., e-commerce or finance), customer acquisition is usually a multi-step conversion process of audiences. For example, an impression->click->purchase process is usually performed of audiences for e-commerce platforms. However, it is more difficult to acquire customers in financial advertising (e.g., credit card advertising) than in traditional advertising. On the one hand, the audience multi-step conversion path is longer. On the other hand, the positive feedback is sparser (class imbalance) step by step, and it is difficult to obtain the final positive feedback due to the delayed feedback of activation. Multi-task learning is a typical solution in this direction. While considerable multi-task efforts have been made in this direction, a long-standing challenge is how to explicitly model the long-path sequential dependence among audience multi-step conversions for improving the end-to-end conversion. In this paper, we propose an Adaptive Information Transfer Multi-task (AITM) framework, which models the sequential dependence among audience multi-step conversions via the Adaptive Information Transfer (AIT) module. The AIT module can adaptively learn what and how much information to transfer for different conversion stages. Besides, by combining the Behavioral Expectation Calibrator in the loss function, the AITM framework can yield more accurate end-to-end conversion identification. The proposed framework is deployed in Meituan app, which utilizes it to real-timely show a banner to the audience with a high end-to-end conversion rate for Meituan Co-Branded Credit Cards. Offline experimental results on both industrial and public real-world datasets clearly demonstrate that the proposed framework achieves significantly better performance compared with state-of-the-art baselines.

연구 동기 및 목표

• 장기적인 순차적 의존성 문제를 다루기 위해, 특히 피드백이 지연되고 희박한 재정 광고에서의 다단계 청중 전환에 대응한다.
• 후속 전환 단계(예: 활성화)에서 극심한 클래스 불균형 문제를 완화하기 위해 이전 단계에서 유용한 신호를 활용한다.
• 장기적이고 연결된 전환 경로를 가진 실제 표적 표시 광고 시스템에서 종합 전환 예측 정확도를 향상시킨다.
• 작업별 피드백에 기반해 단계 간 정보 전달을 적응적으로 제어할 수 있는 유연한 다중작업 학습 프레임워크를 개발한다.

제안 방법

• 이전 단계에서 이후 단계로 표현을 전달하는 데에 동적이고 작업별로 특화된 가중치를 학습하는 적응형 정보 전달(Adaptive Information Transfer, AIT) 모듈을 도입한다.
• 공유된 바닥층과 작업별 타워를 갖춘 다중작업 학습 아키텍처를 사용하며, AIT 모듈이 한 단계에서 다음 단계로 정보가 얼마나 전달되는지 제어한다.
• 예측이 논리적 제약 조건을 따르도록 하기 위해 손실 함수에 행동 기대치 校정기(Behavioral Expectation Calibrator)를 통합한다. 즉, 이전 단계에서 실패하면 이후 단계도 반드시 실패해야 한다는 조건이다.
• 잔차 스타일의 정보 융합 메커니즘을 활용하여 각 작업의 입력에 원본 특징과 이전 단계에서 전달된 정보를 모두 포함한다.
• 학습을 안정화하고 일반화 성능을 향상시키기 위해 보정된 지도 학습을 사용하며, 교차 엔트로피 손실을 기반으로 모델을 종단 간(end-to-end)으로 훈련시킨다.
• t-SNE 시각화를 활용해 AIT 모듈이 다양한 전환 단계에서 표현 학습의 품질을 분석한다.

실험 결과

연구 질문

• RQ1 다단계 청중 전환의 장기적 순차적 의존성과 연결된 제약 조건을 효과적으로 다중작업 학습이 어떻게 모델링할 수 있는가?
• RQ2 이전 전환 단계에서 유래한 지식이 피드백이 지연되고 레이블이 희박한 후속 단계의 예측 성능에 얼마나 기여할 수 있는가?
• RQ3 중간 예측의 신뢰도와 정확도에 기반해 단계 간 정보 전달를 어떻게 동적으로 적응시킬 수 있는가?
• RQ4 적응형 정보 전달이 극심한 클래스 불균형 상황에서 모델의 강인성과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 다양한 실제 데이터셋과 산업 적용 환경에 대해 일반화 가능한가?

주요 결과

• AITM 프레임워크는 산업계 및 공개 데이터셋 양쪽에서 최신 기술 수준의 기준보다 유의미하게 높은 AUC 성능을 달성하여 뛰어난 일반화 능력과 강인성을 입증한다.
• 오프라인 실험 결과, 모든 다섯 개의 전환 단계에서 일관된 향상이 관찰되었으며, 특히 예측이 가장 어려운 최종 단계(활성화)에서 가장 두드러진 성과를 보였다.
• 메이투안의 공동 브랜드 신용카드 캠페인에서 실시한 온라인 A/B 테스트 결과, 기존 온라인 모델 대비 종합 전환율이 유의미하게 향상됨을 확인했다.
• AIT 모듈은 이전 단계의 예측이 불확실할수록 더 많은 정보를 전달하도록 효과적으로 학습하여, 후속 작업에서의 오분류를 줄였다.
• 특히 임bedding 차원과 양성 샘플 비율과 같은 하이퍼파rameter의 넓은 범위에서 안정적인 성능을 보이며 강력한 실용적 강인성을 입증했다.
• t-SNE 시각화 결과, AIT 모듈이 특히 고신뢰도 영역에서 단계 간 특징을 더 잘 정렬함으로써 표현 학습을 향상시킨다는 점을 확인했다.