[논문 리뷰] A Collaborative Transfer Learning Framework for Cross-domain Recommendation

Wei Zhang, Pengye Zhang외 3명|arXiv (Cornell University)|2023. 06. 26.

Recommender Systems and TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 대상 도메인에 대한 정보 수익을 기반으로 소스 도메인 샘플의 가중치를 동적으로 조정하는 협업형 다중 도메인 전이 학습(CCTL) 프레임워크를 제안한다. 대칭 동반 네트워크와 정보 흐름 네트워크를 사용하여 부정적 전이를 방지한다. CCTL은 오프라인 평가 지표에서 최고 성능을 기록했으며, 메이투안에서의 실시간 구현에서는 CTR가 4.37% 향상되고 GMV가 5.43% 증가했다.

ABSTRACT

In the recommendation systems, there are multiple business domains to meet the diverse interests and needs of users, and the click-through rate(CTR) of each domain can be quite different, which leads to the demand for CTR prediction modeling for different business domains. The industry solution is to use domain-specific models or transfer learning techniques for each domain. The disadvantage of the former is that the data from other domains is not utilized by a single domain model, while the latter leverage all the data from different domains, but the fine-tuned model of transfer learning may trap the model in a local optimum of the source domain, making it difficult to fit the target domain. Meanwhile, significant differences in data quantity and feature schemas between different domains, known as domain shift, may lead to negative transfer in the process of transferring. To overcome these challenges, we propose the Collaborative Cross-Domain Transfer Learning Framework (CCTL). CCTL evaluates the information gain of the source domain on the target domain using a symmetric companion network and adjusts the information transfer weight of each source domain sample using the information flow network. This approach enables full utilization of other domain data while avoiding negative migration. Additionally, a representation enhancement network is used as an auxiliary task to preserve domain-specific features. Comprehensive experiments on both public and real-world industrial datasets, CCTL achieved SOTA score on offline metrics. At the same time, the CCTL algorithm has been deployed in Meituan, bringing 4.37% CTR and 5.43% GMV lift, which is significant to the business.

연구 동기 및 목표

• 소스 도메인이 서로 다른 데이터 볼륨과 특성 스키마를 가진 경우, 특히 부정적 전이와 데이터 불균형 문제를 해결하기 위해 다중 도메인 CTR 예측에서의 과제를 해결한다.
• 세부 조정 과정에서 도메인 이동이나 국소 최적해로 인한 성능 저하 없이 데이터가 풍부한 도메인에서 데이터가 부족한 도메인으로 지식 전이를 효과적으로 가능하게 한다.
• 모든 소스 데이터를 무분별하게 사용하는 것을 방지하기 위해 각 소스 샘플이 대상 도메인에 기여하는 진정한 정보 수익을 평가하는 방법을 개발한다.
• 보조 표현 강화 네트워크를 통해 도메인 특화 특징을 유지하면서도 협업형 전이를 가능하게 한다.
• 특히 낮은 데이터 환경에서 공개 벤치마크와 실생활 산업 데이터셋 모두에서 뛰어난 성능을 달성한다.

제안 방법

• 대칭 동반 네트워크(SCN)는 대상 도메인 + 소스 도메인 샘플을 포함한 혼합 모델과 순수 대상 도메인 모델을 대칭 아키텍처로 동시에 학습하여 소스 샘플이 대상 도메인에 기여하는 정보 수익을 추정한다.
• 정보 흐름 네트워크(IFN)는 SCN의 두 브랜치 간의 예측 성능 차이를 측정하여 샘플 수준의 전이 가중치를 계산함으로써 동적이고 샘플 기반의 전이 가중치를 가능하게 한다.
• 표현 강화 네트워크(REN)는 대조 학습을 사용하여 도메인 특화 특징을 유지함으로써 각 도메인의 고유한 특성을 모델이 유지하도록 보장한다.
• 주 CTR 예측 작업과 REN 보조 작업을 함께 최적화함으로써 일반화 능력과 강인성을 향상시킨다.
• SCN과 IFN은 유용한 소스 샘플에 대해 높은 전이 가중치, 유해하거나 관련 없는 샘플에 대해 낮은 가중치를 유도하는 손실 함수를 사용해 엔드 투 엔드로 학습된다.
• 모델 아키텍처는 기존의 딥 CTR 모델과 호환되며, 어텐션, MLP, 임베딩 레이어 등의 기법과의 통합이 가능하다.

Figure 1 . An overview of the CCTL model. a)Symmetric Companion Network(SCN) evaluates the information gain from the source domain samples to the target domain through the dual-tower framework. b)Information Flow Network(IFN) evaluates how much information can be brought by each source sample, and h

실험 결과

연구 질문

• RQ1 어떻게 개별 소스 도메인 샘플의 정보 수익을 대상 도메인으로의 전이를 위해 동적으로 평가할 수 있는가?
• RQ2 데이터가 풍부한 도메인에서 데이터가 부족한 도메인으로 전이할 경우, 도메인 간 큰 이동이 발생할 때 부정적 전이를 방지할 수 있는 메커니즘은 무엇인가?
• RQ3 효과적인 다중 도메인 지식 전이를 가능하게 하면서도 도메인 특화 특징을 어떻게 유지할 수 있는가?
• RQ4 협업형 전이 학습 프레임워크는 다중 작업 학습 및 미세조정 기반 기준 대비 다중 도메인 CTR 예측에서 뛰어난 성능을 낼 수 있는가?
• RQ5 이러한 프레임워크는 CTR와 GMV와 같은 실생활 비즈니스 지표에서 얼마나 향상시킬 수 있는가?

주요 결과

• CCTL은 오프라인 평가 지표에서 공개 데이터셋과 실생활 산업 데이터셋 양쪽 모두에서 최고 성능을 기록했다.
• 메이투안의 추천 시스템에 구현된 결과, 클릭률(CTR)이 4.37% 절대 상승했다.
• CCTL은 총 상품 판매 금액(GMV)을 5.43% 증가시켜 뚜렷한 비즈니스 영향을 미쳤다.
• 절단 실험을 통해 대칭 동반 네트워크와 정보 흐름 네트워크가 성능 향상에 필수적임을 확인했으며, IFN이 부정적 전이를 크게 줄였다.
• 표현 강화 네트워크는 도메인 특화 특징을 효과적으로 유지하여 도메인 간 일반화 능력을 향상시켰다.
• 특히 낮은 데이터 환경에서 표준 전이 학습 및 다중 작업 학습 기준 대비 CCTL이 지능적으로 유용한 소스 샘플을 필터링함으로써 뛰어난 성능을 발휘했다.

Figure 2 . An illustration of the SCN component.