[논문 리뷰] Pre-training Graph Neural Network for Cross Domain Recommendation

Chen Wang, Yueqing Liang외 3명|arXiv (Cornell University)|2021. 11. 16.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 소스 도메인에서 그래프 신경망(GNN)을 사용해 자기지도 대비 학습을 수행함으로써 타겟 도메인의 사용자 및 아이템 임베딩을 초기화하는 PCRec를 제안한다. 사전 훈련된 GNN을 통해 구조적 정보를 전이하고 간단한 행렬 분해 모델로 미세조정함으로써, PCRec는 소스 도메인의 편향을 최소화하면서도 최신 기술 수준의 성능을 달성한다. Recall@20와 MAP@20에서 기존 방법보다 각각 최대 27.6%와 26.4% 향상된다.

ABSTRACT

A recommender system predicts users' potential interests in items, where the core is to learn user/item embeddings. Nevertheless, it suffers from the data-sparsity issue, which the cross-domain recommendation can alleviate. However, most prior works either jointly learn the source domain and target domain models, or require side-features. However, jointly training and side features would affect the prediction on the target domain as the learned embedding is dominated by the source domain containing bias information. Inspired by the contemporary arts in pre-training from graph representation learning, we propose a pre-training and fine-tuning diagram for cross-domain recommendation. We devise a novel Pre-training Graph Neural Network for Cross-Domain Recommendation (PCRec), which adopts the contrastive self-supervised pre-training of a graph encoder. Then, we transfer the pre-trained graph encoder to initialize the node embeddings on the target domain, which benefits the fine-tuning of the single domain recommender system on the target domain. The experimental results demonstrate the superiority of PCRec. Detailed analyses verify the superiority of PCRec in transferring information while avoiding biases from source domains.

연구 동기 및 목표

• 단일 도메인 추천 시스템의 데이터 희소성 및 냉시작 문제를 교차 도메인 지식 전이를 통해 해결한다.
• 기존 교차 도메인 추천(CDR) 방법이 공동 훈련 또는 보조 특성 의존으로 인해 소스 도메인 편향이 지배적인 문제를 해결한다.
• 구조적 표현 학습과 타겟 도메인 예측을 분리함으로써 타겟 도메인 고유의 정보를 유지하는 사전 훈련 및 미세조정 파라다임을 개발한다.
• 사전 훈련된 GNN 임베딩으로 초기화된 간단한 미세조정 모델이 CDR에서 복잡한 모델을 능가할 수 있는지 조사한다.
• CDR에서 상호작용 기반 데이터에 적합한 자기지도, 보조 특성이 없는 사전 훈련 방법을 설계한다.

제안 방법

• 소스 도메인에서 임의의 워크 기반 하위그래프 증강을 통해 양성 노드 쌍을 생성함으로써 대비 자기지도 학습을 사용해 GNN 인코더를 사전 훈련한다.
• 사전 훈련된 GNN 인코더를 사용해 타겟 도메인의 노드 임베딩을 초기화함으로써 소스 도메인의 구조적 인덕티브 바이어스를 유지한다.
• 간단한 행렬 분해(MF) 모델을 사용해 타겟 도메인 추천 모델을 미세조정하며, 이는 LightGCN와 같은 깊은 모델보다 경험적으로 우수한 성능을 보인다.
• 동일한 노드 이웃의 두 개의 증강된 시각에서의 노드 표현 간 일치를 극대화하기 위해 대비 학습 목표를 적용한다.
• 미세조정 단계를 타겟 도메인에만 국한함으로써 최종 예측이 소스 도메인 편향에 의해 지배당하지 않도록 보장한다.
• 실제 세계 데이터셋에서 프레임워크를 평가하며, 다양한 히프 수와 미세조정 아키텍처를 가진 변종을 비교하여 설계 선택 사항을 분석한다.

Figure 1: An illustration of PCRec model architecture in specific example. The model is mainly composed of three setps. In the pre-training stage, a model with the structural learning of nodes’ embedding is used to learn the source domain’s structure. The target domain is put into the pre-trained mo

실험 결과

연구 질문

• RQ1 소스 도메인의 상호작용 그래프에서 자기지도 사전 훈련을 수행하면, 데이터가 제한된 타겟 도메인에서 추천 성능이 향상되는가?
• RQ2 사전 훈련된 GNN 인코더만 전이하고 미세조정을 수행하지 않을 경우, 소스 도메인 편향으로 인해 성능 저하가 발생하는가?
• RQ3 사전 훈련된 임베딩로 초기화된 경우, 미세조정 모델 아키텍처의 선택이 교차 도메인 추천에서 성능에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 GNN을 사용해 공통 사용자의 임베딩을 생성함으로써 모델 전이를 수행하는 것이, 소스 도메인에서 직접 임베딩을 복사하는 것보다 성능이 뛰어나게 되는가?
• RQ5 사전 훈련 단계에서 이웃 집합의 히프 수가 최종 성능에 어떤 영향을 미치는가?

주요 결과

• PCRec는 모든 지표에서 최고의 성능을 기록하며, Recall@20는 0.2756, MAP@20는 0.0264를 기록하여 다음으로 우수한 베이스라인(LGCN)보다 각각 27.6%와 26.4% 향상되었다.
• PCRec-2hop(2단계 이웃)가 PCRec-3hop(3단계 이웃)보다 우수한 성능을 보이며, 이는 이웃 거리가 증가할수록 양성 샘플 간 유사도가 감소하고 표현 학습이 방해됨을 시사한다.
• 간단한 행렬 분해(MF) 모델을 사용해 미세조정하는 PCRec가 1층 및 3층 LightGCN와 같은 더 복잡한 모델보다 뚜렷이 뛰어나며, 이는 복잡한 모델이 타겟 데이터에 과적합되어 전이된 지식을 약화시킬 수 있음을 시사한다.
• 공통 사용자에게 사전 훈련된 GNN을 사용해 임베딩을 생성하는 CU-PM 방법은 CU-PE(직접 임베딩 복사) 및 표준 LGCN 베이스라인을 모두 능가하며, 직접 임베딩 전이보다 모델 기반 전이의 가치를 입증한다.
• 사전 훈련된 GNN을 적용하지만 미세조정을 수행하지 않는 Pre-Only 베이스라인은 가장 열악한 성능을 보였으며, Recall@20 = 0.0329로, 이는 미세조정이 소스 도메인 편향을 완화하기 위해 필수적임을 확인한다.
• 아블레이션 연구 결과, 사전 훈련 인코더로 초기화된 후에도 공통이 아닌 사용자를 미세조정 단계에 포함시키면 성능 향상이 이루어지고, 타겟 도메인이 소스 도메인 정보에 의해 지배당하는 것을 방지함을 확인했다.