[논문 리뷰] Socially-Aware Self-Supervised Tri-Training for Recommendation

Junliang Yu, Hongzhi Yin외 4명|arXiv (Cornell University)|2021. 06. 07.

Recommender Systems and Techniques참고 문헌 52인용 수 10

한 줄 요약

이 논문은 사용자 간 사회적 관계와 사용자-아이템 상호작용을 활용하여 상보적인 시각을 생성함으로써 추천 성능을 향상시키는 사회적 인지(self-supervised) 삼중 학습 프레임워크인 SEPT를 제안한다. 세 개의 그래프 인코더(두 개는 가짜 레이블 생성을 위해, 하나는 추천을 위해)를 활용한 삼중 학습과 대비 학습을 적용함으로써, SEPT는 동질성 기반의 감독 신호를 포착하여 실제 데이터셋에서 자기지도 학습 및 기준 방법보다 성능을 크게 향상시킨다.

ABSTRACT

Self-supervised learning (SSL), which can automatically generate ground-truth samples from raw data, holds vast potential to improve recommender systems. Most existing SSL-based methods perturb the raw data graph with uniform node/edge dropout to generate new data views and then conduct the self-discrimination based contrastive learning over different views to learn generalizable representations. Under this scheme, only a bijective mapping is built between nodes in two different views, which means that the self-supervision signals from other nodes are being neglected. Due to the widely observed homophily in recommender systems, we argue that the supervisory signals from other nodes are also highly likely to benefit the representation learning for recommendation. To capture these signals, a general socially-aware SSL framework that integrates tri-training is proposed in this paper. Technically, our framework first augments the user data views with the user social information. And then under the regime of tri-training for multi-view encoding, the framework builds three graph encoders (one for recommendation) upon the augmented views and iteratively improves each encoder with self-supervision signals from other users, generated by the other two encoders. Since the tri-training operates on the augmented views of the same data sources for self-supervision signals, we name it self-supervised tri-training. Extensive experiments on multiple real-world datasets consistently validate the effectiveness of the self-supervised tri-training framework for improving recommendation. The code is released at https://github.com/Coder-Yu/QRec.

연구 동기 및 목표

• 기존 자기지도 학습(SSL) 방법의 한계를 해결하기 위해, 사용자-아이템 상호작용에서 광범위하게 존재하는 동질성에도 불구하고 모든 비동일 노드를 음성으로 간주하는 문제를 해결한다.
• 사회적 관계를 보조 데이터 소스로 활용하여 사용자 선호도와 사회적 영향을 반영하는 상보적인 시각을 생성한다.
• 다중 시각에서 이웃을 기반으로 동적으로 가짜 레이블을 생성함으로써 사용자 표현 학습을 향상시키는 삼중 학습 기반의 SSL 프레임워크를 개발한다.
• 대비 학습에서 음성으로 간주되는 대신 유사한 사용자로부터 양성 신호를 포착함으로써 추천 성능을 향상시킨다.
• 측면 정보가 제공되는 실제 추천 시나리오에서 사회적 인지 다중 시각 학습의 효과성을 입증한다.

제안 방법

• 사용자 간 상호작용 그래프에 사용자 사회망을 통합하여 두 가지 추가 데이터 시각을 생성한다: 하나는 사용자 친구 관계 기반, 다른 하나는 아이템 공유 행동 기반.
• 세 개의 비대칭 그래프 인코더를 구축한다: 사용자-아이템 시각을 위한 하나(추천 목적), 사회적 관계 및 공유 행동 시각에서 표현을 학습하고 가짜 레이블을 생성하기 위한 두 개.
• 이웃 구분 기반 대비 학습을 적용하여, 다른 사용자의 가짜 레이블을 활용해 서로 다른 시각 간 동일 사용자 표현을 정렬한다.
• 에지 드롭아웃을 통해 사회적 그래프를 동적으로 변형하여 확률적 시각을 생성함으로써, 인간의 레이블이 없이도 자기지도 신호를 생성할 수 있도록 한다.
• 자기지도 신호를 다른 두 인코더로부터 제공받는 방식으로 세 인코더를 반복적으로 개선함으로써, 일반화 능력을 향상시키는 삼중 학습 루프를 구성한다.
• 온도 조절 대비 손실과 균형 인자 β를 통합하여, 자기지도 삼중 학습 신호가 최종 추천 모델에 미치는 영향을 제어한다.

실험 결과

연구 질문

• RQ1 사회적 관계를 자기지도 학습에 통합함으로써 사용자-아이템 상호작용에서의 동질성을 포착함으로써 표현 학습을 향상시킬 수 있는가?
• RQ2 다중 시각을 활용한 제안된 삼중 학습 프레임워크는 표준 자기지도 대비 학습 대비 추천 성능에서 어떻게 비교되는가?
• RQ3 각 시각(사용자-아이템, 사회적 관계, 공유 행동)이 전체 추천 정확도에 기여하는 정도는 어떠한가?
• RQ4 에지 드롭아웃 비율 ρ와 같은 초모수에 프레임워크의 민감도는 어떠한가?
• RQ5 측면 정보가 부분적으로만 제공될 경우(예: 사용자-아이템 데이터만 존재할 경우), 프레임워크는 여전히 잘 작동하는가?

주요 결과

• SEPT는 LastFM, Yelp, Douban-Book 세 개의 실제 데이터셋에서 최신 자기지도 학습 및 지도 학습 기반 기준 모델인 LightGCN 및 기타 SSL 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• LastFM와 Yelp에서 사용자-아이템, 사회적 관계, 공유 행동의 세 시각을 모두 사용할 경우 최고의 성능을 기록했으며, 최고 기준 모델 대비 AUC에서 최대 3.5% 향상되고 Recall@20에서 최대 2.8% 향상되었다.
• Douban-Book에서는 자기지도 공동 학습 설정(두 시각)이 가장 높은 성능을 기록하여, 일부 데이터셋에서는 사회적 시각이 덜 정보적인 것으로 나타났다.
• 절단 실험 결과 각 시각이 표현 학습에 긍정적인 기여를 함을 확인했으며, 선호도 시각(사용자-아이템)이 가장 핵심적이며, 사회적 및 공유 시각은 보완적인 신호를 제공한다.
• 프레임워크는 초모수 변화에 대해 강건하다: 에지 드롭아웃 비율(ρ)의 넓은 범위에서 성능이 안정되었으며, 중간 정도의 β 및 K 값에서 최적 성능을 달성했다.
• 사용자-아이템 시각만 사용할 경우에도 SEPT는 LightGCN를 능가했으며, 명시적 측면 정보가 없더라도 자기지도 학습의 효과성을 입증했다.