[논문 리뷰] GAN-based Recommendation with Positive-Unlabeled Sampling

Yao Zhou, Jianpeng Xu외 5명|arXiv (Cornell University)|2020. 12. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 41인용 수 5

한 줄 요약

이 논문은 긍정-무단일(PU) 학습을 사용하여 미표시된 사용자-아이템 상호작용을 부정 샘플로 간주하는 것의 한계를 해결하기 위해 GAN 기반 추천 프레임워크인 PURE를 제안한다. 비편향된 PU 위험 추정기로 디스커미네이터를 훈련하고 임bedding 공간에서 연속적 샘플링을 가능하게 함으로써, PURE는 사용자와 아이템의 진정한 잠재 분포를 학습하며, 3개의 벤치마크 데이터셋에서 8개의 랭킹 메트릭에 걸쳐 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recommender systems are popular tools for information retrieval tasks on a large variety of web applications and personalized products. In this work, we propose a Generative Adversarial Network based recommendation framework using a positive-unlabeled sampling strategy. Specifically, we utilize the generator to learn the continuous distribution of user-item tuples and design the discriminator to be a binary classifier that outputs the relevance score between each user and each item. Meanwhile, positive-unlabeled sampling is applied in the learning procedure of the discriminator. Theoretical bounds regarding positive-unlabeled sampling and optimalities of convergence for the discriminators and the generators are provided. We show the effectiveness and efficiency of our framework on three publicly accessible data sets with eight ranking-based evaluation metrics in comparison with thirteen popular baselines.

연구 동기 및 목표

• 미표시된 사용자-아이템 상호작용을 부정 샘플로 간주하는 전통적 추천 시스템의 잘못된 가정을 해결함으로써, 진정한 관련성 분포가 왜곡되는 것을 방지한다.
• 실제 세계의 데이터에서 미표시된 상호작용이 긍정일 수도, 부정일 수도 있음을 반영하기 위해, 공동 필터링을 긍정-무단일(PU) 학습 문제로 재정의한다.
• 임베딩 공간에서의 연속적 샘플링을 통해 사용자 및 아이템 임베딩의 연속적 분포를 학습하는 GAN 기반 프레임워크를 개발하여 이전의 GAN 기반 방법에서의 이산적 샘플링의 한계를 피한다.
• PU 학습의 사용을 이론적으로 정당화하기 위해, 추정 오차 경계가 더 날카롭고, 비음수 위험 추정을 통해 과적합을 줄임으로써 딥 모델에서의 성능 향상을 입증한다.
• 실제 데이터셋에서 PURE의 효과성과 효율성을 입증하며, 여러 랭킹 메트릭에서 13개의 강력한 베이스라인을 초월한다.

제안 방법

• 생성자는 임베딩 공간 내 사용자-아이템 튜플의 연속적 분포를 학습하여, 가짜 사용자 및 아이템 임베딩을 부드럽고 표현력 있게 생성할 수 있도록 한다.
• 디스커미네이터는 사용자와 아이템 간의 관련성 점수를 출력하는 이진 분류기이며, 비편향된 위험 추정기를 사용한 PU 학습 목표로 훈련된다.
• 유연한 딥 모델에서 과적합을 줄이고 음수 위험 값이 발생하는 것을 방지하기 위해, 미표시 데이터의 경험적 위험에 비음수 연산자를 적용한다. 이는 Kiryo 등(2017)의 접근 방식을 따르는 것이다.
• 임베딩 공간에서 사용자와 아이템 양쪽에 대해 연속적 샘플링을 도입함으로써 생성자의 표현력을 향상시키고, 실제 희소 데이터를 더 잘 모델링할 수 있도록 한다.
• 생성자와 디스커미네이터는 최소-최대 게임 방식으로 훈련된다: 생성자는 현실적인 가짜 사용자-아이템 쌍을 생성하는 것을 목표로 하고, 디스커미네이터는 PU 학습을 통해 일반화 능력을 향상시키며 진짜와 가짜를 구분하는 데 목적이 있다.
• 이론적 분석 결과, 미표시 샘플 수가 하한선으로 유한할 경우 PU 학습의 추정 오차 경계는 PN 학습보다 더 날카롭다는 것이 입증되었으며, 이는 희소 추천 데이터에서 자주 발생하는 조건이다.

실험 결과

연구 질문

• RQ1 PU 학습을 통해 미표시 상호작용을 부정 샘플로 간주하는 것의 가정을 피하고, 추천 시스템에서 딥 생성 모델의 성능을 향상시킬 수 있는가?
• RQ2 PU 학습에서 비음수 위험 추정기의 사용이 추천 시스템의 딥 신경망의 일반화 및 수렴에 어떤 영향을 미치는가?
• RQ3 임베딩 공간에서 사용자와 아이템 양쪽에 대해 연속적 샘플링을 도입함으로써 GAN 기반 추천 시스템의 표현력과 성능이 어느 정도 향상되는가?
• RQ4 PURE는 실제 희소 데이터셋에서 기존의 GAN 기반 및 비-GAN 기반 베이스라인보다 더 나은 랭킹 성능을 달성하는가?
• RQ5 희소 데이터 조건이 현실적으로 적용될 때, PU 학습의 추정 오차 경계가 PN 학습보다 더 날카로운가?

주요 결과

• PURE는 3개의 공개 데이터셋에서 8개의 랭킹 기반 평가 지표에서 13개의 최신 기술 수준의 베이스라인을 초월하여 뛰어난 효과성과 효율성을 입증한다.
• 이론적 분석을 통해, 미표시 샘플 수가 하한선으로 유한할 경우 PU 학습의 추정 오차 경계는 PN 학습보다 더 날카롭다는 것이 확인되었으며, 이는 실제 희소 추천 데이터에서 자주 발생하는 조건이다.
• PU 학습에서 비음수 위험 추정기의 사용은 딥 모델에서의 과적합을 효과적으로 줄여주며, 추천 설정에서의 유연한 신경망의 안정적 훈련을 가능하게 한다.
• 임베딩 공간에서 사용자와 아이템 양쪽에 대해 연속적 샘플링을 도입함으로써 생성자의 진짜 잠재 분포를 모델링하는 능력이 크게 향상되었으며, 아이템만 샘플링하거나 이산적 샘플링을 사용하는 방법보다 뛰어난 성능을 보였다.
• 실증 결과로 PURE는 NDCG, MAP, Recall@K와 같은 여러 메트릭에서 일관된 성능 향상을 보였으며, 개인화 랭킹 작업에서의 강력한 성능을 나타낸다.
• 특히 데이터가 적은 환경에서, 부정 샘플링 가정의 한계가 가장 두드러지므로, PU 학습이 실제 추천 시스템에서 필수적임을 검증한다.