[논문 리뷰] Deconvolving Feedback Loops in Recommender Systems

Ayan Sinha, David F. Gleich외 1명|arXiv (Cornell University)|2017. 03. 03.

Recommender Systems and Techniques인용 수 43

한 줄 요약

이 논문은 관측된 평점이 진정한 사용자 선호도와 시스템에 의해 유도된 평점의 조합임을 모델링하여 추천 시스템 내 피드백 루프를 탈식별하는 방법을 제안한다. 특정 가정 하에서 특이값 분해(SVD)를 사용해 단일 스냅샷으로부터 진정한 평점 행렬의 추정치를 복원함으로써, 합성 데이터 및 실세계 데이터에서 추천 편향과 본질적 사용자 선호도를 높은 정확도로 식별할 수 있다.

ABSTRACT

Collaborative filtering is a popular technique to infer users' preferences on new content based on the collective information of all users preferences. Recommender systems then use this information to make personalized suggestions to users. When users accept these recommendations it creates a feedback loop in the recommender system, and these loops iteratively influence the collaborative filtering algorithm's predictions over time. We investigate whether it is possible to identify items affected by these feedback loops. We state sufficient assumptions to deconvolve the feedback loops while keeping the inverse solution tractable. We furthermore develop a metric to unravel the recommender system's influence on the entire user-item rating matrix. We use this metric on synthetic and real-world datasets to (1) identify the extent to which the recommender system affects the final rating matrix, (2) rank frequently recommended items, and (3) distinguish whether a user's rated item was recommended or an intrinsic preference. Our results indicate that it is possible to recover the ratings matrix of intrinsic user preferences using a single snapshot of the ratings matrix without any temporal information.

연구 동기 및 목표

• 피드백 루프가 추천 시스템에서 단일 스냅샷의 평점 행렬로부터 사용자의 본질적 선호도를 회복할 수 있는지 조사하기.
• 진정한 사용자 평점과 추천 시스템의 추천에 의해 영향을 받은 평점을 분리하는 실용적인 수학적 모델 개발하기.
• 개별 사용자-아이템 평점과 전체 평점 행렬에 대한 추천 시스템의 영향을 수량화하는 지표 생성하기.
• 합성 및 실세계 데이터셋에서 방법을 평가하여 높이 추천되는 항목을 식별하고, 추천된 평점과 본질적 선호도를 구분하기.
• 제안된 지표를 사용해 넷플릭스와 마이브로우즈 등의 시스템을 비교함으로써 추천 품질에 대한 통찰 제공하기.

제안 방법

• 관측된 평점 행렬을 진정한 선호도와 시스템에 의해 유도된 평점의 합으로 모델링: $ \boldsymbol{R}_{\text{obs}} = \boldsymbol{R}_{\text{true}} + \boldsymbol{R}_{\text{recom}} $.
• 추천 시스템이 아이템-아이템 유사도 행렬을 사용하는 반복적 피드백 프로세스로 작동하며, 이웃 기반 협업 필터링에 기반해 평점이 업데이트된다고 가정한다.
• 진정한 선호도가 약간의 낮은 질서를 가진다고 가정하여, 관측된 평점 행렬의 특이값 분해(SVD)를 통해 $ \boldsymbol{R}_{\text{true}} $의 낮은 질서 구조를 추정한다.
• 피드백 메커니즘과의 정렬을 분석함으로써 SVD 성분을 분석해 각 평점에 대한 추천 시스템의 영향을 수량화하는 히우리스틱 지표를 유도한다.
• 합성 데이터에 적용해 $ \boldsymbol{R}_{\text{true}} $의 복원을 검증하고, 넷플릭스와 마이브로우즈 등의 실세계 데이터셋에 적용해 추천 편향을 평가한다.
• 결과 점수를 활용해 추천 편향에 취약한 항목 순서를 매기고, 시스템에 의해 영향을 받을 가능성이 높은 항목을 식별한다.

실험 결과

연구 질문

• RQ1 시간적 데이터 없이도 관측된 평점 행렬의 단일 스냅샷으로부터 진정한 사용자 선호도 행렬을 회복할 수 있는가?
• RQ2 추천 시스템이 개별 사용자-아이템 평점과 전체 평점 행렬에 얼마나 큰 영향을 미치는가?
• RQ3 피드백 루프의 영향을 받을 가능성이 가장 높은 항목은 무엇이며, 그들의 추천 편향에 대한 취약도 순서로 정렬할 수 있는가?
• RQ4 이 방법은 진정한 사용자 선호도에 의해 영향을 받은 평점과 추천 시스템에 의해 유도된 평점 간을 구분할 수 있는가?
• RQ5 제안된 지표는 넷플릭스와 마이브로우즈와 같은 다양한 시스템 간의 추천 품질을 어떻게 비교하는가?

주요 결과

• 제시된 가정 하에 시간적 정보 없이도 단일 스냅샷로도 진정한 평점 행렬을 성공적으로 복원할 수 있다.
• 제안된 지표는 피드백 루프의 영향을 많이 받는 항목을 효과적으로 식별한다. 예를 들어 TV 시리즈의 1회차는 후속 시리즈보다 더 자주 추천되므로, 피드백 루프의 영향을 많이 받는다.
• 넷플릭스 데이터셋에서 인도 영화가 추천 점수 상위 랭킹 항목에 과도하게 포함되어 있어, 이민자들이 시스템을 활용해 본인의 문화 콘텐츠를 발견한다는 가설을 지지한다.
• 이 방법은 넷플릭스가 마이브로우즈보다 더 높은 수준의 추천 시스템 품질을 가졌음을 입증한다. 동일한 항목에 대해 평균 추천 점수가 낮기 때문이다.
• 분석 결과, 40개의 다중 시즌 TV 시리즈 중 31개에서 1회차의 추천 점수가 2회차보다 높게 나타나, 초기 시즌에 피드백 루프 효과가 뚜렷하게 나타남을 보여준다.
• 이 방법은 관측된 평점 행렬의 SVD만을 사용하므로 계산적으로 효율적이며, 실세계 추천 시스템에서 편향 탐지에 실용적인 도구를 제공한다.