[논문 리뷰] Human Interaction with Recommendation Systems

Sven Schmit, Carlos Riquelme|arXiv (Cornell University)|2017. 03. 01.

Auction Theory and Applications인용 수 15

한 줄 요약

이 논문은 추천 시스템에서 사용자-알고리즘 상호작용의 동적 모델을 제안하며, 피드백 루프로 인해 선택 편향과 선형적 손실이 발생함을 보여준다. 사용자 간 선호도의 이질성이 존재할 경우 일관되고 효율적인 추정기가 자연스럽게 유도됨을 증명하며, 인centives 없이도 '자연스러운 탐색'이 가능함을 밝힌다.

ABSTRACT

Many recommendation algorithms rely on user data to generate recommendations. However, these recommendations also affect the data obtained from future users. This work aims to understand the effects of this dynamic interaction. We propose a simple model where users with heterogeneous preferences arrive over time. Based on this model, we prove that naive estimators, i.e. those which ignore this feedback loop, are not consistent. We show that consistent estimators are efficient in the presence of myopic agents. Our results are validated using extensive simulations.

연구 동기 및 목표

• 사용자 상호작용이 추천 시스템의 데이터에 피드백 루프를 만들어내어 추정기의 일관성에 영향을 미치는 방식을 이해하는 것.
• 미래 지향적이지 않은, 선호도가 이질적인 사용자가 알고리즘 제안과 개인적 선호를 조합하는 상황에서 추천 알고리즘의 효율성을 분석하는 것.
• 이질적인 사용자 선호도 덕분에 외부 탐색 인centives 없이도 편향 없는 추정기가 로그레기터미널 손실을 달성할 수 있음을 보여주는 것.
• 특징 기반 및 저질서 행렬 분해 모델을 사용한 시뮬레이션을 통해 이론적 결과를 검증하는 것.
• 표준 추정기의 동적이고 사용자 영향을 받는 환경에서의 한계를 강조하고 일관된 학습을 위한 프레임워크를 제안하는 것.

제안 방법

• 사용자 간 이질적인 비공개 선호도를 가진 사용자가 시간에 따라 추천 시스템과 상호작용하는 동적 모델을 제안한다.
• 사용자 선택을 시스템 점수와 비공개 선호도의 조합에 기반한 선택으로 모델링한다: $\arg\max_j s_{ij} + x_i^T y_j$.
• 사용자 및 아이템 선호도를 잠재 요인을 사용한 선형 모델로 표현하며, $s_{ij}$는 시스템의 점수이고 $x_i^T y_j$는 비공개 선호도를 반영한다.
• 안정성을 향상시키기 위해 정규화와 랭크 $2q$를 적용한 교차 최소제곱법(Alternating Least Squares, ALS)을 사용하여 모델 추정을 수행한다.
• 추정기 성능 평가를 위해 다중 암초 밴딧(Multi-armed Bandits) 프레임워크를 적용하며, 단순 추정, 무작위 선택, 반복 학습 데이터 전략을 비교한다.
• 독립 정규분포를 사용한 잠재 벡터와 소규모 노이즈를 사용하여 2000명의 사용자, 500개의 아이템, $q=4$의 잠재 차원을 가진 시뮬레이션을 수행하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 사용자 행동과 추천 시스템 데이터 간의 피드백 루프가 표준 추정기의 일관성에 어떤 영향을 미치는가?
• RQ2 이질적인 사용자 선호도가 존재하는 상황에서 외부 탐색 인센티브 없이도 편향 없는 추정기가 효율적 학습을 달성할 수 있는가?
• RQ3 사용자가 추천과 개인 신호를 모두 기반으로 결정을 내길 때 선택 편향이 추정기 성능에 어떤 영향을 미치는가?
• RQ4 행렬 분해 방법은 단순 선형 모델 대비 피드백 기반 동적 데이터 수집 환경에서 어떻게 성능을 발휘하는가?
• RQ5 무작위 또는 반복 선택 과정이 피드백 루프로 인해 추정기 성능을 얼마나 떨어뜨리는가?

주요 결과

• 피드백 루프를 간과한 단순 추정기는 선형적 손실을 겪으며, 무한한 데이터가 있어도 성능이 최적에서 벗어나 있는 상태를 유지한다.
• 편향 없는 평점 데이터를 사용하는 일관된 추정기는 로그레기터미널 손실을 달성하며, 이는 효율적 학습과 최적 성능 수렴을 의미한다.
• 이질적인 사용자 선호도가 자연스럽게 '무료 탐색'을 유도하며, 데이터 다양성을 유도하기 위한 외부 인센티브나 지불이 필요 없음을 의미한다.
• 시뮬레이션 결과, 무작위 선택에 기반한 추천이 완벽한 추천에 기반한 추천보다 성능이 뛰어나며, 피드백 루프로 인한 성능 저하를 보여준다.
• 반복적인 무작위 선택 과정은 단순 무작위 선택보다 훨씬 열악한 성능을 보이며, 이는 피드백 루프가 행렬 분해 모델의 편향을 악화시킨다는 것을 시사한다.
• 추천 시스템의 동적 특성으로 인해 행렬 분해 방법은 단순 선형 모델보다 피드백 누적 선택 편향으로 인해 더 심각한 영향을 받는다.