[논문 리뷰] Learning Cross-Domain Representation with Multi-Graph Neural Network

Yi Ouyang, Bin Guo외 4명|arXiv (Cornell University)|2019. 05. 24.

Advanced Graph Neural Networks참고 문헌 38인용 수 14

한 줄 요약

이 논문은 다중 관련 도메인에서의 사용자 행동 데이터를 통합하여 통합된 다중그래프 구조를 형성함으로써 다중도메인 아이템 표현을 학습하는 다중그래프 신경망인 Deep Multi-Graph Embedding (DMGE)을 제안한다. 그래프 컬러션 네트워크와 다중기울기 하강 최적화기를 활용함으로써 DMGE는 데이터 희소성 문제를 효과적으로 완화하고, 대규모 실세계 데이터셋에서 추천 및 랭킹 작업에서 최신 기술들을 능가한다.

ABSTRACT

Learning effective embedding has been proved to be useful in many real-world problems, such as recommender systems, search ranking and online advertisement. However, one of the challenges is data sparsity in learning large-scale item embedding, as users' historical behavior data are usually lacking or insufficient in an individual domain. In fact, user's behaviors from different domains regarding the same items are usually relevant. Therefore, we can learn complete user behaviors to alleviate the sparsity using complementary information from correlated domains. It is intuitive to model users' behaviors using graph, and graph neural networks (GNNs) have recently shown the great power for representation learning, which can be used to learn item embedding. However, it is challenging to transfer the information across domains and learn cross-domain representation using the existing GNNs. To address these challenges, in this paper, we propose a novel model - Deep Multi-Graph Embedding (DMGE) to learn cross-domain representation. Specifically, we first construct a multi-graph based on users' behaviors from different domains, and then propose a multi-graph neural network to learn cross-domain representation in an unsupervised manner. Particularly, we present a multiple-gradient descent optimizer for efficiently training the model. We evaluate our approach on various large-scale real-world datasets, and the experimental results show that DMGE outperforms other state-of-art embedding methods in various tasks.

연구 동기 및 목표

• 다양한 관련 도메인에서의 보완적인 사용자 행동을 활용하여 단일도메인 아이템 임베딩의 데이터 희소성 문제를 해결한다.
• 단일그래프 표현 학습을 위해 설계된 기존 그래프 신경망의 한계를 극복한다.
• 라벨이 필요 없는 비지도 다중그래프 신경망 프레임워크를 개발하여 다중도메인 표현을 공동으로 학습한다.
• 도메인 간의 구조적 및 행동적 상관관계를 활용하여 추천 및 검색 랭킹과 같은 후행 작업을 위한 아이템 임베딩 품질을 향상시킨다.
• 공유되는 노드 임베딩을 통해 다중도메인 표현 학습의 다중작업 성격을 효과적으로 다룰 수 있도록 다중기울기 하강 최적화기를 사용한 효율적인 학습 전략을 설계한다.

제안 방법

• 노드가 아이템을 나타내고, 서로 다른 도메인의 사용자 행동 시퀀스 내에서 아이템 동시출현을 간선으로 표현하는 다중그래프를 구축한다.
• 각기 다른 도메인(예: 추천, 검색)에 해당하는 다수의 간선 유형을 가진 다중그래프를 구성하며, 동일한 노드 집합을 공유한다.
• 각 도메인 전용 부분그래프에서 이웃 노드의 특징을 집계함으로써 노드 임베딩을 학습하기 위해 그래프 컬러션 네트워크(GCNs)를 백본으로 사용한다.
• 모든 도메인의 표현을 다중작업 학습 프레임워크를 통해 통합하여 도메인 간 정보 전이와 공동 최적화를 가능하게 한다.
• 공유되는 노드 임베딩을 통해 다중도메인에서 동시에 파라미터를 업데이트할 수 있도록 다중기울기 하강 최적화기를 사용하여 모델을 효율적으로 학습시킨다.
• 명시적 레이블이 필요 없이 노드 복원 및 이웃 예측을 통한 비지도 사전학습을 활용하여 의미 있는 표현을 학습한다.

실험 결과

연구 질문

• RQ1 다중도메인 사용자 행동 데이터가 다중그래프로 효과적으로 모델링될 수 있는가?
• RQ2 그래프 신경망은 공유되는 노드를 가진 상호관련성이 있는 다수의 그래프(즉, 도메인) 간의 표현을 공동으로 학습하기 위해 어떻게 확장될 수 있는가?
• RQ3 교차도메인 정보 전이가 낮은 활동성을 보이는 도메인의 데이터 희소성 문제를 어느 정도 완화할 수 있는가?
• RQ4 제안된 다중그래프 신경망 프레임워크는 단일도메인 그래프 임베딩 및 기존의 교차도메인 추천 방법보다 우수한 성능을 보일 수 있는가?
• RQ5 다중기울기 하강 최적화기는 다중그래프 표현 모델을 학습하는 데 있어 효율적이고 확장 가능한가?

주요 결과

• DMGE는 DeepWalk, node2vec, GCN와 같은 최신 기술의 단일도메인 임베딩 방법보다 추천 및 검색 랭킹과 같은 후행 작업에서 뚜렷한 성능 향상을 보였다.
• 다양한 대규모 실세계 데이터셋에서 일관된 성능 향상을 달성하여 강건성과 일반화 능력을 입증했다.
• 다중그래프 학습을 통한 교차도메인 정보 전이로 인해 데이터 희소성이 심한 도메인의 아이템, 특히 개별 도메인에서 상호작용 기록이 부족한 아이템에 특히 유리한 영향을 미쳤다.
• 다중기울기 하강 최적화기를 사용함으로써 다중작업 모델의 효율적이고 안정적인 학습이 가능해졌으며, 수렴 속도 향상과 표현 품질 향상에 기여했다.
• 제거 실험을 통해 다중그래프 구조와 다중작업 학습 목적이 성능 향상에 필수적임을 확인하였으며, 설계 선택의 타당성을 검증했다.
• 냉각 시작 시나리오에서도 모델이 잘 일반화되어, 어느 한 도메인에서나 상호작용이 희소한 아이템에 대해서도 향상된 임베딩 품질을 보였다.