[논문 리뷰] Self-supervised Learning for Deep Models in Recommendations.

Tiansheng Yao, Xinyang Yi외 8명|arXiv (Cornell University)|2020. 07. 25.

Topic Modeling참고 문헌 38인용 수 33

한 줄 요약

이 논문은 대규모 어휘 카테고리 특징 공간에서 임베딩 품질을 향상시키기 위해 두 가지 새로운 작업인 특징 마스킹(FM)과 특징 드롭아웃(FD)을 도입한 다중 작업 자기지도 학습(SSL) 프레임워크를 제안한다. 5억 및 10억 예제로 구성된 두 개의 대규모 데이터셋에서 평가된 결과, 이 프레임워크는 단순 자기지도 학습 및 최신 정규화 기법보다 유의미하게 뛰어난 성능을 보이며, 특히 저도약 학습 환경에서 두각을 나타낸다.

ABSTRACT

Large scale neural recommender models play a critical role in modern search and recommendation systems. To model large-vocab categorical features, typical recommender models learn a joint embedding space for both queries and items. With millions to billions of items to choose from, the quality of learned embedding representations is crucial to provide high quality recommendations to users with various interests. Inspired by the recent success in self-supervised representation learning (SSL) research in both computer vision and natural language understanding, we propose a multi-task self-supervised learning framework for neural models in recommendations. Furthermore, we propose two self-supervised tasks applicable to models with categorical features within the proposed framework: (i) Feature Masking (FM) and (ii) Feature Dropout (FD). We evaluate our framework using two large-scale datasets with ~500M and 1B training examples respectively. Our results demonstrate that the proposed framework outperforms learning with the supervision task only and other state-of-the-art regularization techniques in the context of retrieval. The SSL framework shows larger improvement with less supervision compared to the counterparts.

연구 동기 및 목표

• 대규모 어휘 카테고리 특징을 가진 딥 네트워크 추천 모델에서 학습된 임베딩 표현의 품질을 향상시키는 것.
• 자기지도 학습(SSL)을 활용하여 대규모 추천 시스템에서 제한된 학습 데이터 문제를 해결하는 것.
• 추천 모델의 카테고리 특징에 특화된 효과적인 SSL 작업을 설계하는 것.
• 라벨이 부족한 상황에서 특히 자기지도 학습이 단순 지도 학습 및 기존 정규화 기법보다 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 지도 추천 작업과 자기지도 학습 작업을 동시에 최적화하는 다중 작업 자기지도 학습 프레임워크를 제안한다.
• 특징 마스킹(FM)을 도입하여 랜덤으로 선택된 카테고리 특징을 마스킹하고, 모델이 맥락에서 마스킹된 특징을 예측하도록 한다.
• 특징 드롭아웃(FD)을 도입하여 학습 중에 랜덤으로 선택된 카테고리 특징을 제거하고, 모델이 남아 있는 특징들로부터 복원하도록 한다.
• 다른 마스킹 또는 드롭아웃 패턴에 따라 동일한 입력에 대한 양호한(긍정적) 및 열악한(부정적) 시각을 대비하여 대비 학습 원리를 적용한다.
• 쿼리와 아이템을 공유된 공간에 함께 임bedding하는 딥 네트워크 추천 모델에 프레임워크를 적용한다.
• 모델을 종합적으로 학습하여 지도 학습과 두 가지 제안된 자기지도 학습 작업을 동시에 활용함으로써 일반화 능력과 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 대규모 어휘 카테고리 특징을 가진 딥 추천 모델에서 학습된 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 제안된 자기지도 학습 작업인 특징 마스킹과 특징 드롭아웃이 추천 시스템에서 더 나은 표현 학습에 어떻게 기여하는가?
• RQ3 제안된 SSL 프레임워크는 특히 라벨 데이터가 부족한 상황에서 단순 지도 학습보다 더 뛰어난 성능을 낼 수 있는가?
• RQ4 프레임워크는 검색 성능 측면에서 최신 정규화 기법들과 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• 제안된 SSL 프레임워크는 5억 및 10억 훈련 예제를 가진 두 대규모 데이터셋에서 모두 단순 지도 학습 작업만을 사용한 경우보다 뛰어난 성능을 보였다.
• 기본 모델 대비 낮은 학습 데이터 환경에서 더 큰 향상을 기록하여 더 뛰어난 데이터 효율성을 입증했다.
• 특징 마스킹과 특징 드롭아웃은 손실되거나 손상된 특징에 대한 강건성을 유도함으로써 표현 학습을 효과적으로 향상시켰다.
• 다중 작업 SSL 프레임워크는 두 데이터셋에서 일관되게 검색 성능을 향상시켜 강력한 일반화 능력을 보였다.
• 지도 학습이 부족한 상황에서 SSL의 성과가 더 두드러지게 나타나, 데이터가 부족한 추천 시나리오에 대한 프레임워크의 잠재력을 입증했다.