[논문 리뷰] Recommendations as Treatments: Debiasing Learning and Evaluation

Tobias Schnabel, Adith Swaminathan외 3명|arXiv (Cornell University)|2016. 02. 17.

Advanced Bandit Algorithms Research참고 문헌 45인용 수 143

한 줄 요약

본 논문은 MNAR 데이터 하에서 학습 및 평가의 편향을 줄이기 위한 인과적 개입으로 추천을 다루고, 성향 가중 추정량과 이론적 보장 및 강건한 성향 추정치를 갖춘 확장 가능한 행렬 분해 접근법을 제안한다.

ABSTRACT

Most data for evaluating and training recommender systems is subject to selection biases, either through self-selection by the users or through the actions of the recommendation system itself. In this paper, we provide a principled approach to handling selection biases, adapting models and estimation techniques from causal inference. The approach leads to unbiased performance estimators despite biased data, and to a matrix factorization method that provides substantially improved prediction performance on real-world data. We theoretically and empirically characterize the robustness of the approach, finding that it is highly practical and scalable.

연구 동기 및 목표

• 추천 시스템 데이터의 선택 편향을 인과 추론의 개입으로 체계화하여 해결한다.
• MNAR 조건에서 일반 지표에 대한 편향 없는 성능 추정치를 개발한다(예: MAE, MSE, DCG).
• biases를 학습에 적용하기 위한 ERM 프레임워크를 제안하고 확장 가능한 행렬 분해 방법을 도출한다.
• 성향 추정 방법과 잘못 명시된 성향에 대한 강건성을 조사한다.

제안 방법

• 성향 가중화(IPS)와 완전 사례 아이디어를 활용하여 MAE, MSE, DCG 및 관련 지표에 대한 편향 없는 추정치를 만든다.
• 성향 하에서의 경험적 위험 최소화(ERM) 목적함수를 형식화하고 일반화 경계를 도출한다.
• 단일 항목 가중치가 1/P_{u,i}인 표준 불완전 MF와 유사하지만 항목별 가중치를 갖는 성향-가중 행렬 분해 목적함수를 도출한다.
• IPS의 분산을 줄이기 위한 자기정규화 SNIPS를 도입하여 작은 편향과 함께 분산을 감소시킨다.
• 실험적(알려진 P) 설정과 관측적(추정된 P) 설정을 구분하고 성향 오-명시화에 대한 강건성을 분석한다.
• Naive Bayes와 로지스틱 회귀(사용자/항목 편향 포함)로 성향 추정 방법을 제공한다.

실험 결과

연구 질문

• RQ1 추천 시스템에서의 선택 편향이 평가 및 학습에 어떻게 왜곡을 일으키는지, 인과 추론 기법으로 편향 없는 추정치를 얻을 수 있는가?
• RQ2 성향 기반 추정치를 통해 MNAR 데이터에서 일반 지표(MAE, MSE, DCG)에 대한 편향 없는 평가가 가능한가?
• RQ3 선택 편향을 고려하면서 성능을 유지하는 확장 가능한 행렬 분해 방법을 개발할 수 있는가?
• RQ4 관측적 설정에서 성향은 어떻게 추정되어야 하며, 추정 오명에 대해 접근 방식은 얼마나 강건한가?

주요 결과

행	MAE 참값	MAE IPS	MAE SNIPS	MAE Naive	DCG@50 참값	DCG@50 IPS	DCG@50 SNIPS	DCG@50 Naive
REC_ONES	0.102	0.102 ± 0.007	0.102 ± 0.007	0.011 ± 0.001	30.76	30.64 ± 0.75	30.66 ± 0.74	153.07 ± 2.13
REC_FOURS	0.026	0.026 ± 0.000	0.026 ± 0.000	0.173 ± 0.001	52.00	51.98 ± 0.41	52.08 ± 0.58	313.48 ± 2.36
ROTATE	2.579	2.581 ± 0.031	2.579 ± 0.012	1.168 ± 0.003	12.90	13.00 ± 0.85	12.99 ± 0.83	1.38 ± 0.09
SKEWED	1.306	1.304 ± 0.012	1.304 ± 0.009	0.912 ± 0.002	24.59	24.55 ± 0.92	24.58 ± 0.93	54.87 ± 1.03
COARSENED	1.320	1.314 ± 0.015	1.318 ± 0.005	0.387 ± 0.002	46.45	46.45 ± 0.53	46.44 ± 0.70	293.27 ± 1.99

• IPS 및 SNIPS는 MNAR에서 편향된 상태로 남는 바쁜(naive) 방법과 비교하여 MAE 및 DCG에 대해 편향이 없는(IPS) 또는 분산이 낮은 편향 추정(SNIPS)을 제공한다.
• 성향-스코어 MF(MF-IPS)는 다양한 MNAR 심각도에서 무가중 MF에 비해 평점 예측 정확도(낮은 MSE)를 개선한다(세미-합성 데이터 기준).
• 성향 가중을 사용한 경험적 위험 최소화는 유한 가설 공간에 대한 일반화 보장을 제공한다.
• 추정된 성향은 불완전한 경우에도 편향 없는 평가 및 학습 성능을 제공하거나 강건하게 만들며, 종종 naive 접근법보다 우수한 경우가 많다.
• 제안된 방법은 최첨단 결합 가능도 MNAR 방법과 비교할 때 확장성이 더 뛰어나고 실제 데이터셋(Yahoo! R3 및 Coat Shopping)에서 경쟁력이 있다.
• 논문은 MNAR 평가를 위한 구현체와 벤치마크 데이터셋을 제공한다.