[논문 리뷰] Fifty Shades of Ratings: How to Benefit from a Negative Feedback in Top-N Recommendations Tasks

Evgeny Frolov, Ivan Oseledets|arXiv (Cornell University)|2016. 07. 14.

Tensor decomposition and applications참고 문헌 20인용 수 3

한 줄 요약

이 논문은 사용자 평점을 순서가 있는 카디널 유용성으로 보는 대신, 삼항 범주형 변수(긍정, 중립, 부정)로 간주하는 텐서 기반 협업 필터링 모델인 CoFFee를 제안한다. 이는 순수한 부정 피드백에서 효과적인 학습을 가능하게 하며, 제3차 텐서 분해와 고차원 폴딩인 기법을 통해 상위 N 추천에서 최신 기술 성능을 달성한다. 특히 양성 피드백이 없는 냉시작 시나리오에서 뛰어난 성능을 보이며, 전통적인 평가 지표가 드러내지 못하는 추천 품질의 편향을 드러낸다.

ABSTRACT

Conventional collaborative filtering techniques treat a top-n recommendations problem as a task of generating a list of the most relevant items. This formulation, however, disregards an opposite - avoiding recommendations with completely irrelevant items. Due to that bias, standard algorithms, as well as commonly used evaluation metrics, become insensitive to negative feedback. In order to resolve this problem we propose to treat user feedback as a categorical variable and model it with users and items in a ternary way. We employ a third-order tensor factorization technique and implement a higher order folding-in method to support online recommendations. The method is equally sensitive to entire spectrum of user ratings and is able to accurately predict relevant items even from a negative only feedback. Our method may partially eliminate the need for complicated rating elicitation process as it provides means for personalized recommendations from the very beginning of an interaction with a recommender system. We also propose a modification of standard metrics which helps to reveal unwanted biases and account for sensitivity to a negative feedback. Our model achieves state-of-the-art quality in standard recommendation tasks while significantly outperforming other methods in the cold-start "no-positive-feedback" scenarios.

연구 동기 및 목표

• 기존 협업 필터링 기법이 부정 피드백을 다루는 데에 한계를 지닌다는 점을 해결함으로써, 관련 없는 추천과 사용자 참여도 저하를 방지한다.
• 표준 평가 지표(예: nDCG)가 관련 없는 항목이 높은 순위에 올라갈 경우 성능이 열 劣함을 감지하지 못하는 민감도 부족 문제를 해결한다. 이는 냉시작 또는 부정 피드백 시나리오에서 성능 저하를 가리킬 수 있다.
• 양성 피드백이 없더라도 사용자 상호작용의 최초 단계부터 우수한 성능을 보이는 통합 추천 모델을 개발한다.
• 부정 피드백에 민감하고 추천 품질의 편향을 드러내는 수정된 평가 지표(nDCL)를 도입한다.

제안 방법

• 평점을 순서가 있는 카디널 또는 서열 유용성으로 보는 대신, 긍정, 중립, 부정의 세 가지 수준을 가진 범주형 변수로 모델링한다.
• 사용자, 항목, 피드백 카테고리의 세 가지 요소를 동시에 모델링하기 위해 제3차 텐서 분해를 적용함으로써, 모든 종류의 피드백에서 복잡한 사용자-항목 선호도 패턴을 포착한다.
• 재학습 없이도 효율적인 온라인 추론과 개인화된 추천을 지원하기 위해 고차원 폴딩인 기법을 구현한다.
• 부정 피드백에 민감하고 순위가 높은 관련 없는 항목을 처벌하는 수정된 평가 지표인 nDCL(정규화된 할인 누적 손실)를 도입한다.
• 정확한 평점 예측 작업을 통해 모델이 정확한 평점과 평점의 긍정성 예측 능력을 검증한다.
• 냉시작 및 표준 추천 시나리오를 모두 지원하는 통합 프레임워크를 사용함으로써, 별도의 평점 확보 절차가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 양성 평점이 전혀 필요 없이 부정 피드백만으로도 고성능 추천을 달성할 수 있는가?
• RQ2 표준 평가 지표(예: nDCG)는 관련 없는 항목이 높은 순위에 올라갈 경우 성능 저하를 감지하지 못하는가? 특히 냉시작 설정에서 그러한 문제가 어떻게 발생하는가?
• RQ3 피드백을 범주형 변수로 간주하는 텐서 기반 모델이 기존 행렬 분해 기법보다 긍정적 및 부정적 피드백 모두에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 nDCL와 같은 수정된 평가 지표는 부정 피드백 관련 추천 시스템의 편향을 효과적으로 드러낼 수 있는가?

주요 결과

• CoFFee 모델은 표준 상위 N 추천 작업에서 최신 기술 성능을 달성하며, nDCG 및 nDCL를 포함한 대부분의 지표에서 SVD와 WRMF를 능가한다.
• 양성 피드백이 전혀 없는 냉시작 시나리오에서 CoFFee는 다른 모델보다 뚜렷이 뛰어난 성능을 보이며, 첫 상호작용 단계부터 개인화된 추천을 생성할 수 있음을 입증한다.
• Movielens 1M 데이터셋에서 정확한 평점 예측 성공률는 47%, 평점의 긍정성 예측 성공률는 48%를 기록하며, RMSE 점수는 0.77를 달성한다.
• 표준 지표(nDCG)는 관련 없는 항목이 높은 순위에 올라갈 경우 성능 저하를 감지하지 못하지만, CoFFee의 nDCL 지표는 SVD 및 WRMF 모델이 CoFFee보다 관련 없는 항목을 더 높은 순위에 배치하고 있음을 드러낸다.
• 예를 들어, Scarface 대신 Toy Story를 추천하는 등, 부정 피드백을 바탕으로 '반대' 성향의 기능(예: 코미디 대신 죄악물)을 효과적으로 추천한다.
• 사용자가 부정 피드백만 제공하더라도 모델의 성능은 뛰어나며, 이는 부정 피드백만으로도 고성능 개인화 추천이 가능함을 증명한다.