[논문 리뷰] SelfCF: A Simple Framework for Self-supervised Collaborative Filtering

Xin Zhou, Aixin Sun외 3명|arXiv (Cornell University)|2021. 07. 07.

Recommender Systems and Techniques참고 문헌 47인용 수 12

한 줄 요약

이 논문은 음성 샘플링을 사용하지 않고 백본 모델의 잠재 표현을 변형함으로써 사용자 및 아이템 표현 학습을 향상시키는 자기지도 학습 협업 필터링 프레임워크인 SelfCF를 제안한다. 음성 샘플링을 제거하고 임베딩 수준의 증강 기법과 정지기울기 정규화를 활용함으로써 음성 샘플링 없이도 LightGCN 대비 최대 6.55% 높은 추천 정확도를 달성하면서도 훈련 속도를 2–4배 빠르게 한다.

ABSTRACT

Collaborative filtering (CF) is widely used to learn informative latent representations of users and items from observed interactions. Existing CF-based methods commonly adopt negative sampling to discriminate different items. Training with negative sampling on large datasets is computationally expensive. Further, negative items should be carefully sampled under the defined distribution, in order to avoid selecting an observed positive item in the training dataset. Unavoidably, some negative items sampled from the training dataset could be positive in the test set. In this paper, we propose a self-supervised collaborative filtering framework (SelfCF), that is specially designed for recommender scenario with implicit feedback. The proposed SelfCF framework simplifies the Siamese networks and can be easily applied to existing deep-learning based CF models, which we refer to as backbone networks. The main idea of SelfCF is to augment the output embeddings generated by backbone networks, because it is infeasible to augment raw input of user/item ids. We propose and study three output perturbation techniques that can be applied to different types of backbone networks including both traditional CF models and graph-based models. The framework enables learning informative representations of users and items without negative samples, and is agnostic to the encapsulated backbones. We conduct comprehensive experiments on four datasets to show that our framework may achieve even better recommendation accuracy than the encapsulated supervised counterpart with a 2$ imes$--4$ imes$ faster training speed. We also show that SelfCF can boost up the accuracy by up to 17.79% on average, compared with a self-supervised framework BUIR.

연구 동기 및 목표

• 암시적 피드백을 위한 협업 필터링에서 음성 샘플링의 계산 및 분포적 비효율성을 해결한다.
• 음성 샘플에 의존하지 않고 자기지도 학습을 활용해 양성 상호작용만으로 사용자 및 아이템 표현을 학습한다.
• 기존의 다양한 백본 모델과 호환되는 플러그 앤 플레이 프레임워크를 설계한다. 이는 기존의 전통적 및 그래프 기반 협업 필터링 모델을 포함한다.
• 라벨이 부여된 음성 인스턴스나 복잡한 샘플링 히우리스틱이 필요 없이 훈련 효율성과 추천 정확도를 향상시킨다.
• 정지기울기 및 예측기 구성 요소가 자기지도 추천에서 해법 붕괴를 방지하는 데 수행하는 역할을 조사한다.

제안 방법

• 사용자 및 아이템 표현의 잠재 임베딩에 직접적으로 세 가지 임베딩 변형 기법—랜덤 마스킹, 특성 셔플링, 그래프 기반 엣지 제거—를 적용한다.
• 온라인 및 타겟 네트워크가 동일한 백본을 공유하지만, 임베딩에 다른 변형을 적용하는 시아미즈 네트워크 아키텍처를 구성한다.
• 변형된 임베딩와 원본 임베딩 간의 코사인 유사도를 기반으로 한 대비 손실을 사용하여, 불변성과 정보성 있는 표현을 장려한다.
• 훈련을 안정화하고 파라미터 붕괴를 방지하기 위해 정지기울기 연산자를 도입하여, backpropagation 동안 타겟 네트워크가 고정되도록 보장한다.
• 간단한 다층 퍼셉트론(MLP) 예측기를 통합하여 대비 학습 목표를 개선하고 최종 추천 성능을 향상시킨다.
• 백본 모델에 독립적인 프레임워크를 설계하여 기존의 딥러닝 기반 협업 필터링 모델과의 원활한 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 음성 샘플링 없이 자기지도 학습을 협업 필터링에 효과적으로 적용할 수 있으며, 그러한 프레임워크의 핵심 설계 선택은 무엇인가?
• RQ2 다양한 임베딩 변형 기법이 암시적 피드백 환경에서 표현 학습과 추천 정확도에 미치는 영향은 어떠한가?
• RQ3 정지기울기 연산자와 예측기 구성 요소가 해법 붕괴를 방지하고 모델 안정성을 향상시키는 데 수행하는 역할은 무엇인가?
• RQ4 SelfCF는 감독 기반 기준 모델과 기존 자기지도 학습 프레임워크인 BUIR에 비해 정확도와 훈련 효율성 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 행렬 분해 및 그래프 신경망 기반 모델을 포함한 다양한 백본 모델에 일반화될 수 있는가?

주요 결과

• SelfCF는 음성 샘플링을 제거함으로써 LightGCN(감독 기반 기준 모델) 대비 최대 6.55% 높은 추천 정확도를 달성하면서도 훈련 속도를 2–4배 빠르게 한다.
• 이 프레임워크는 네 개의 데이터셋에서 BUIR(self-supervised baseline)의 성능을 평균 17.79% 향상시켜 강력한 일반화 능력과 효과성을 입증한다.
• 정지기울기 연산자는 모델 안정성에 핵심적인 역할을 하며, 이를 제거할 경우 성능이 급격히 저하되어 파라미터 붕괴를 방지하는 데서의 중요성을 시사한다.
• 음성 샘플이 없더라도 임베딩 유사도를 기반으로 한 대비 손실이 사용자 선호도와 불변 특징을 효과적으로 포착한다.
• 특히 큰 희소 데이터셋에서 효율성과 확장성 측면에서 입력 수준의 증강보다 임베딩 수준의 증강이 뛰어나다.
• 프레임워크는 백본 모델에 독립적이며, 전통적 CF 모델과 그래프 기반 모델 모두에서 경쟁적인 성능을 달성하여 광범위한 적용 가능성을 확인한다.