[논문 리뷰] Pairwise Interactive Graph Attention Network for Context-Aware Recommendation

Yahui Liu, Furao Shen외 1명|arXiv (Cornell University)|2019. 11. 18.

Recommender Systems and Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 맥락 기반 추천에서 사용자 관심사와 아이템 매력도를 동시에 포착하기 위해 동적 사용자-아이템 상호작용 그래프(DIG)와 쌍방향 상호작용 그래프 어텐션을 사용하는 GNN 기반 모델인 PIGAT을 제안한다. 상호작용 순서에 대한 신뢰도 임베딩을 통합하고 학습 가능한 어텐션 메커니즘을 사용함으로써, PIGAT은 특히 장꼬리 아이템에 대해 우수한 성능을 보이며, 세 개의 실세계 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Context-aware recommender systems (CARS), which consider rich side information to improve recommendation performance, have caught more and more attention in both academia and industry. How to predict user preferences from diverse contextual features is the core of CARS. Several recent models pay attention to user behaviors and use specifically designed structures to extract adaptive user interests from history behaviors. However, few works take item history interactions into consideration, which leads to the insufficiency of item feature representation and item attraction extraction. From these observations, we model the user-item interaction as a dynamic interaction graph (DIG) and proposed a GNN-based model called Pairwise Interactive Graph Attention Network (PIGAT) to capture dynamic user interests and item attractions simultaneously. PIGAT introduces the attention mechanism to consider the importance of each interacted user/item to both the user and the item, which captures user interests, item attractions and their influence on the recommendation context. Moreover, confidence embeddings are applied to interactions to distinguish the confidence of interactions occurring at different times. Then more expressive user/item representations and adaptive interaction features are generated, which benefits the recommendation performance especially when involving long-tail items. We conduct experiments on three real-world datasets to demonstrate the effectiveness of PIGAT.

연구 동기 및 목표

• 기존 맥락 기반 추천 시스템이 역사적 상호작용에서 아이템 매력도를 포착하는 데에 한계가 있음을 해결하기 위해.
• 그래프 기반 접근 방식을 사용하여 동적 사용자 관심사와 아이템 매력도를 동시에 모델링하기 위해.
• 시간에 따른 상호작용 신뢰도를 통합함으로써 장꼬리 아이템에 대한 표현 학습을 향상시키기 위해.
• 사용자 및 아이템 양 측면에서 상호작용 중요도를 동시에 모델링할 수 있는 GNN 아키텍처를 설계하기 위해.

제안 방법

• 각 방향성 간선이 타임스탬프 레이블(상호작용 순서)을 가진 동적 사용자-아이템 상호작용 그래프(DIG)를 구축한다.
• 두 가지 어텐션 스코어를 계산하는 쌍방향 상호작용 그래프 어텐션 메커니즘을 적용한다: 헤드 사용자/아이템의 중요도와 추천 맥락의 중요도.
• 시간적 신뢰도를 모델링하기 위해 신뢰도 임베딩을 사용하며, 학습 안정성과 효율성을 향상시키기 위한 새로운 초기화 전략을 도입한다.
• 어텐션 스코어에 기반해 이웃 표현을 가중 평균 풀링하는 메커니즘을 활용하여 표현력 있는 사용자 및 아이템 표현을 생성한다.
• 어텐션 함수로 다층 퍼셉트론(FFN)을 사용하며, 이는 내적곱 및 스케일드 내적곱 어텐션보다 우수한 성능을 보인다.
• 상호작용 표현 생성기를 GNN 프레임워크에 통합하여 DIG 상에서 메시지 전파를 통해 사용자 및 아이템 표현을 개선한다.

실험 결과

연구 질문

• RQ1 방향성 이분 그래프를 통해 동적 사용자-아이템 상호작용을 모델링하면 맥락 기반 추천 성능이 향상되는가?
• RQ2 어텐션 메커니즘을 통해 사용자 관심사와 아이템 매력도를 동시에 포착하면 더 나은 표현 학습이 이루어지는가?
• RQ3 시간 순서에 기반한 상호작용 신뢰도를 통합하면 성능에 영향을 미치며, 특히 장꼬리 아이템에 대해 어떤 영향을 미치는가?
• RQ4 고정된, 위치 기반의, 또는 무작위 임베딩보다 학습 가능한 신뢰도 임베딩이 상호작용 중요도 모델링에 더 효과적인가?
• RQ5 더 깊은 어텐션 함수(예: FFN-3)는 더 높은 차수의 관계를 더 잘 포착하는가?

주요 결과

• PIGAT은 Books, Electronics, Byte-Rec 세 개의 실세계 데이터셋에서 최신 기술을 달성하며, F1 스코어는 각각 0.7694, 0.7033, 0.7422를 기록한다.
• 동적 상호작용 그래프(DIG)는 정적 그래프보다 Books에서 F1 스코어 0.0010, Electronics에서 0.0073, Byte-Rec에서 0.0188 높게 성능을 내어 시간적 동역학을 모델링하는 것이 필수적임을 입증한다.
• 신뢰도 임베딩(CE)이 가장 높은 성능을 기록했으며, None(-0.0010), PE(-0.0067), FCE(-0.0013), RCE(-0.0009)와 같은 기준 모델보다 Byte-Rec 데이터셋에서 뛰어난 성능을 보였다.
• 3층 퍼셉트론(FFN-3)을 어텐션 함수로 사용할 경우 가장 높은 성능을 기록하여 고차원 상호작용이 표현 학습에 유리함을 시사한다.
• PIGAT은 장꼬리 아이템(k=3)에서 가장 뚜렷한 성능 향상을 보이며, 희귀 아이템의 표현 향상에 효과적임을 확인한다.
• 제거 실험 결과, 신뢰도 임베딩과 어텐션 메커니즘이 모두 핵심 구성 요소임을 확인하였으며, CE는 모든 데이터셋에서 일관된 성능 향상을 제공한다.