[논문 리뷰] NGAT4Rec: Neighbor-Aware Graph Attention Network For Recommendation

Jinbo Song, Chao Chang외 3명|arXiv (Cornell University)|2020. 10. 23.

Recommender Systems and Techniques참고 문헌 37인용 수 15

한 줄 요약

NGAT4Rec는 사용자-아이템 상호작용 그래프에서 이웃 간의 암묵적 상관관계를 쌍별 어텐션 계수를 계산하여 모델링하는 이웃 인지 그래프 어텐션 네트워크를 제안한다. 기존 GNN 레이어를 이웃 인지 어텐션 메커니즘으로 대체하고 비선형 변환을 제거함으로써, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, NDCG@20 기준으로 이전 SOTA 방법보다 최대 20.43% 향상된다.

ABSTRACT

Learning informative representations (aka. embeddings) of users and items is the core of modern recommender systems. Previous works exploit user-item relationships of one-hop neighbors in the user-item interaction graph to improve the quality of representation. Recently, the research of Graph Neural Network (GNN) for recommendation considers the implicit collaborative information of multi-hop neighbors to enrich the representation. However, most works of GNN for recommendation systems do not consider the relational information which implies the expression differences of different neighbors in the neighborhood explicitly. The influence of each neighboring item to the representation of the user's preference can be represented by the correlation between the item and neighboring items of the user. Symmetrically, for a given item, the correlation between one neighboring user and neighboring users can reflect the strength of signal about the item's characteristic. To modeling the implicit correlations of neighbors in graph embedding aggregating, we propose a Neighbor-Aware Graph Attention Network for recommendation task, termed NGAT4Rec. It employs a novel neighbor-aware graph attention layer that assigns different neighbor-aware attention coefficients to different neighbors of a given node by computing the attention among these neighbors pairwisely. Then NGAT4Rec aggregates the embeddings of neighbors according to the corresponding neighbor-aware attention coefficients to generate next layer embedding for every node. Furthermore, we combine more neighbor-aware graph attention layer to gather the influential signals from multi-hop neighbors. We remove feature transformation and nonlinear activation that proved to be useless on collaborative filtering. Extensive experiments on three benchmark datasets show that our model outperforms various state-of-the-art models consistently.

연구 동기 및 목표

• 기존 GNN 기반 추천 모델이 사용자-아이템 상호작용 그래프에서 이웃 간의 관계 정보를 명시적으로 모델링하지 못하는 한계를 해결하기 위해.
• 특정 사용자에 대해 인접한 아이템 간의 암묵적 상관관계와 특정 아이템에 대해 인접한 사용자 간의 상관관계를 포착함으로써 표현 학습을 향상시키기 위해.
• 불필요한 비선형 변환과 활성화 함수를 제거함으로써 협업 필터링을 위한 더 효율적인 GNN 아키텍처를 설계하기 위해.
• 이웃 인지 어텐션 메커니즘이 이웃 간의 쌍별 유사도를 기반으로 계산되며, 기존 어텐션 메커니즘보다 추천 작업에서 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 주어진 노드(사용자 또는 아이템)의 모든 이웃 간에 쌍별로 어텐션 계수를 계산하는 이웃 인지 그래프 어텐션 레이어를 도입하며, 이는 정규화된 내적과 ReLU를 사용한다.
• 계산된 이웃 인지 어텐션 계수를 사용해 이웃 임베딩을 집계하여 메시지 전파 방식으로 노드 표현을 업데이트한다.
• 모든 이웃 쌍 간의 어텐션 점수 평균을 취해 복잡도를 감소시키면서도 표현력을 유지함으로써 어텐션 계산을 단순화한다.
• 다중 이웃 인지 어텐션 레이어를 스택하여 다단계 이웃 정보를 캡처하고, 더 깊은 표현 학습을 가능하게 한다.
• 실증 결과에 따르면 순수한 ID 기반 협업 필터링에서 비선형 전환과 활성화 함수(예: ReLU, LeakyReLU)가 효과가 없음을 확인하여 GNN 레이어에서 이를 제거한다.
• 이웃 인지 어텐션 계수로 가중된 이웃 임베딩의 선형 조합을 사용해 다음 레이어의 노드 임베딩을 생성한다.

실험 결과

연구 질문

• RQ1 사용자-아이템 상호작용 그래프에서 이웃 간의 암묵적 상관관계를 모델링하면 추천 성능 향상에 기여하는가?
• RQ2 이웃 간의 쌍별 어텐션을 계산하는 이웃 인지 어텐션 메커니즘이 GNN 기반 추천에서 표준 어텐션 메커니즘보다 우수한가?
• RQ3 사용자 및 아이템 ID만 입력 특성으로 사용할 경우, GNN 레이어에서 비선형 전환이 필요한가?
• RQ4 성능 및 효율성 측면에서 제안된 NGAT4Rec 모델은 최신 기술 수준의 GNN 기반 추천 모델보다 어떻게 비교되는가?

주요 결과

• NGAT4Rec는 Yelp2018, Amazon-Book, Kuaishou-Video 세 가지 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, 이전 SOTA 모델을 초월한다.
• 비선형 전환(예: ReLU, LeakyReLU) 제거가 성능 향상에 크게 기여하며, Yelp2018에서 NGAT4Rec는 비선형 버전인 NGAT4Rec_N보다 Recall@20 기준 19.68% 향상되었다.
• 이웃 인지 어텐션 메커니즘은 LightGAT-mlp 대비 Recall@20 기준 11.94% 향상되고 NDCG@20 기준 13.29% 향상되었으며, LightGAT-dp 대비 Recall@20 기준 9.40% 향상되고 NDCG@20 기준 9.92% 향상되었다.
• 세 데이터셋 전반에서 NGAT4Rec는 가장 높은 NDCG@20 및 Recall@20 점수를 기록했으며, Amazon-Book에서 NGAT4Rec_N 대비 NDCG@20 기준 최대 20.43% 향상되고 LightGAT-mlp 대비 15.80% 향상되었다.
• 임베딩 차원이 64에서 128로 증가할 때 성능 향상 폭이 둔화됨을 확인하여, 일정 용량을 초과하면 수익 감소 현상이 나타남을 시사한다.
• 제거 분석 결과, ID 기반 협업 필터링 환경에서 표준 어텐션 메커니즘(Multi-Layer Perceptron 또는 내적)보다 이웃 인지 어텐션 메커니즘이 더 효과적임을 확인하였다.