[논문 리뷰] Heterogeneous Graph Neural Network for Recommendation

Jinghan Shi, Houye Ji외 4명|arXiv (Cornell University)|2020. 09. 02.

Recommender Systems and Techniques참고 문헌 7인용 수 8

한 줄 요약

이 논문은 다중 히프(meta-path) 집합과 주목사상 기반 메타패스 가중치를 통해 고차원 의미 정보를 주입하고 다양한 의미를 주목사상 기반 융합으로 융합함으로써 추천 성능을 향상시키는 이질적 그래프 신경망 HGRec을 제안한다. 실험 결과, HGRec는 최신 기술 모델들을 능가하며 NDCG@10에서 최대 8.19% 향상되어 개인화 추천에서 풍부한 고차원 의미 정보의 핵심적 역할을 입증한다.

ABSTRACT

The prosperous development of e-commerce has spawned diverse recommendation systems. As a matter of fact, there exist rich and complex interactions among various types of nodes in real-world recommendation systems, which can be constructed as heterogeneous graphs. How learn representative node embedding is the basis and core of the personalized recommendation system. Meta-path is a widely used structure to capture the semantics beneath such interactions and show potential ability in improving node embedding. In this paper, we propose Heterogeneous Graph neural network for Recommendation (HGRec) which injects high-order semantic into node embedding via aggregating multi-hops meta-path based neighbors and fuses rich semantics via multiple meta-paths based on attention mechanism to get comprehensive node embedding. Experimental results demonstrate the importance of rich high-order semantics and also show the potentially good interpretability of HGRec.

연구 동기 및 목표

• 다양한 노드 및 간선 유형을 가진 이질적 추천 그래프에서 표현력 있는 노드 임베딩을 학습하는 데 도전하는 것.
• 특정 메타패스를 따라 다중 히프 이웃을 집합함으로써 고차원 의미 정보를 노드 임베딩에 주입하는 것.
• 다양한 메타패스로부터 풍부하고 다양한 의미를 주목사상 기반 기법으로 융합하여 종합적인 노드 표현을 생성하는 것.
• 복잡한 사용자-아이템 상호작용 패턴을 명시적으로 모델링하여 추천 성능 향상과 해석 가능성 향상을 이루는 것.
• 고차원 의미 정보와 다중 메타패스 융합의 효과를 실증하여 추천 정확도 향상과 콜드스터트 문제 완화에 기여하는 것.

제안 방법

• 학습된 임베딩 행렬에 의해 제어되는 차원으로 무작위 검색을 통해 노드 임베딩을 초기화한다.
• 요소별 상호작용을 통해 특정 메타패스를 따라 이웃을 집합함으로써 제1차 및 고차원 노드 임베딩을 계산하는 의미 집합 레이어를 적용한다: $\mathbf{e}_k \odot \mathbf{e}_u $.
• 집합된 이웃 특징에 기반해 노드 임베딩을 업데이트하기 위해 학습 가능한 가중치 행렬 $\mathbf{W}_1^{\Phi^U}$ 를 사용한다.
• 다중 층(L층)으로 일반화하여 다중 히프를 통해 고차원 의미 정보를 캡처하는 것.
• 목표 노드에 대한 관련성에 따라 다양한 메타패스를 동적으로 가중치 부여하는 주목사상 기반 기법을 사용해 의미 융합 레이어를 구현한다.
• Adam, L2 정규화, 조기 중단을 사용한 역전파를 통해 전체 모델을 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 다중 히프 메타패스 집합을 통한 고차원 의미 정보 통합이 노드 임베딩 품질과 추천 성능에 미치는 영향은 어떠한가?
• RQ2 다양한 메타패스를 주목사상 기반 융합하면 이질적 그래프에서 노드 표현의 종합성과 정확도가 향상되는가?
• RQ3 HGRec은 다양한 실세계 데이터셋에서 기존 최신 기술 모델들을 얼마나 능가하는가?
• RQ4 모델의 주목사상 기반 메커니즘이 추천에 가장 유용한 메타패스를 효과적으로 식별하고 우선순위를 정하는가?
• RQ5 모델의 깊이(집합 레이어 수)는 성능에 어떤 영향을 미치며, 고차원 의미 정보를 캡처하기 위한 최적의 깊이는 얼마인가?

주요 결과

• HGRec는 Movielens, Amazon, Yelp 세 가지 벤치마크 데이터셋에서 모두 최신 기술 모델 수준의 성능을 달성했으며, 가장 강력한 베이스라인인 NGCF보다 Recall@10에서 최대 6.80% 향상되었다.
• NGCF 대비 Movielens에서 NDCG@10을 8.19% 향상시키고, Amazon에서는 5.13%, Yelp에서는 12.6% 향상시켜 고차원 의미 정보의 효과를 입증했다.
• 모든 메타패스에 동일한 주목사상 가중치를 부여하는 변형인 HGRec- 보다 일관되게 뛰어난 성능을 보이며 주목사상 기반 메타패스 가중치의 가치를 입증했다.
• 의미 집합 모듈에서 L=3층일 때 성능이 최고조에 도달하여, 3단계 히프 메타패스 정보가 과적합이 발생하기 전에 최적의 고차원 의미 정보를 제공함을 시사한다.
• 모델는 모든 메트릭(Pre@10, Recall@10, NDCG@10, HR@10)에서 향상되었으며, 주목사상 가중치를 통해 해석 가능성 또한 뛰어나 보인다.