[논문 리뷰] Unbiased Recommender Learning from Missing-Not-At-Random Implicit Feedback

Yuta Saito, Suguru Yaginuma외 3명|arXiv (Cornell University)|2019. 09. 09.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 14

한 줄 요약

이 논문은 음성 피드백에서 누락되지 않은 무작위(MNAR) 문제를 다루기 위해 항목 노출 경향성을 모델링하고 역확률 가중치를 적용함으로써 추천 시스템에 대한 편향이 없는 추정기(_estimator)를 제안한다. 이 방법은 손실 추정의 편향을 최소화함으로써 관련성 예측, 특히 희귀 항목에 대해 향상되며, WMF 및 ExpoMF와 같은 기준 모델 대비 DCG@5, Recall@5, MAP@5에서 전체 항목 및 희귀 항목 순위 모두에서 성능이 뛰어나다.

ABSTRACT

Recommender systems widely use implicit feedback such as click data because of its general availability. Although the presence of clicks signals the users' preference to some extent, the lack of such clicks does not necessarily indicate a negative response from the users, as it is possible that the users were not exposed to the items (positive-unlabeled problem). This leads to a difficulty in predicting the users' preferences from implicit feedback. Previous studies addressed the positive-unlabeled problem by uniformly upweighting the loss for the positive feedback data or estimating the confidence of each data having relevance information via the EM-algorithm. However, these methods failed to address the missing-not-at-random problem in which popular or frequently recommended items are more likely to be clicked than other items even if a user does not have a considerable interest in them. To overcome these limitations, we first define an ideal loss function to be optimized to realize recommendations that maximize the relevance and propose an unbiased estimator for the ideal loss. Subsequently, we analyze the variance of the proposed unbiased estimator and further propose a clipped estimator that includes the unbiased estimator as a special case. We demonstrate that the clipped estimator is expected to improve the performance of the recommender system, by considering the bias-variance trade-off. We conduct semi-synthetic and real-world experiments and demonstrate that the proposed method largely outperforms the baselines. In particular, the proposed method works better for rare items that are less frequently observed in the training data. The findings indicate that the proposed method can better achieve the objective of recommending items with the highest relevance.

연구 동기 및 목표

• 사용자 선호도와 무관하게 인기 있는 항목이 더 많이 클릭되는 바, 음성 피드백에서 누락되지 않은 무작위(MNAR) 문제를 해결한다.
• 클릭 확률을 최적화하는 데서 진정한 관련성으로의 편향을 해결하기 위해 WMF 및 ExpoMF와 같은 기존 방법의 문제를 해결한다.
• 인과 추론에서 영감을 얻은 역확률 스코어링을 사용하여 진정한 손실 함수를 최대화하는 편향 없는 추정기를 개발한다.
• 희귀 항목으로의 일반화를 향상시키기 위해 편향과 분산의 균형을 맞추는 클리핑된 추정기를 통해 추정기의 분산을 줄인다.
• 제안된 방법이 DCG@5, Recall@5, MAP@5와 같은 관련성 메트릭에서 특히 저노출(희귀) 항목에서 더 나은 순위 성능을 달성함을 입증한다.

제안 방법

• 사용자 관련성을 최대화하는 이상적인 손실 함수를 정의하며, 클릭 확률과는 다를 바를 명시함으로써 추천 시스템의 진정한 목표와 일치시킨다.
• 역확률 가중치(IPW)를 사용하여 이상적인 손실 함수의 편향 없는 추정기를 제안하며, 여기서 확률 스코어는 항목의 노출 확률을 나타낸다.
• IPW 추정기의 분산을 분석하고, 극단적인 가중치를 제한함으로써 분산을 줄이는 클리핑된 추정기를 도입하여 편향-분산 균형을 향상시킨다.
• 초파rameter 튜닝을 위해 자기정규화된 역확률 스코어(SNIPS)를 사용하여, 다양한 항목 분포를 가진 검증 세트에서 안정적인 평가를 보장한다.
• 행렬 분해 프레임워크 내에서 이 방법을 적용하며, 클리핑된 추정기를 사용하여 항목 및 사용자 임베딩 예측을 최적화한다.
• 훈련 데이터에서의 항목 인기도(상대 빈도)를 사용하여 확률 스코어를 추정하며, 사용자별 노출 행동을 완전히 반영하지 못하는 한계를 인정한다.

실험 결과

연구 질문

• RQ1 음성 피드백에서 클릭 확률이 아닌 진정한 사용자 관련성을 최적화하기 위해 이상적인 손실 함수를 어떻게 정의할 수 있는가?
• RQ2 WMF 및 ExpoMF와 같은 기존 방법들이 MNAR 문제로 인해 손실 함수에서 얼마나 심각한 편향을 겪는가?
• RQ3 역확률 가중치 기반의 편향 없는 추정기는 특히 희귀 항목에서 추천 성능 향상에 기여하는가?
• RQ4 편향 없는 추정기의 분산은 성능에 어떤 영향을 미치며, 추정기의 클리핑은 편향-분산 균형을 어떻게 향상시킬 수 있는가?
• RQ5 DCG@5, Recall@5, MAP@5와 같은 메트릭에서 제안된 방법이 기준 모델을 초월하는가, 특히 저노출(희귀) 항목에서 성능이 뛰어난가?

주요 결과

• 제안된 Rel-MF 방법은 DCG@5에서 WMF 및 ExpoMF를 크게 앞서며, 전체 항목에서는 ExpoMF 대비 20.4% 향상되었고, 희귀 항목에서는 11.8% 향상되었다.
• 희귀 항목에 대해, 이 방법은 최고의 기준 모델(ExpoMF) 대비 Recall@5에서 6.4% 향상되어 저빈도 항목에 대한 일반화 능력이 뛰어나다는 것을 입증했다.
• 전체 항목에서는 ExpoMF 대비 MAP@5에서 26.6% 향상되었고, 희귀 항목에서는 11.2% 향상되어 더 나은 순위 정렬 품질을 확인했다.
• K=1일 때 ExpoMF가 희귀 항목에서 Rel-MF를 앞서는 경우가 있었지만, 전체적인 추세는 클리핑을 통한 편향-분산 균형 고려 시 Rel-MF의 열세를 보였다.
• 클리핑된 추정기는 손실 추정기의 분산을 줄여 저노출 확률을 가진 항목에서 더 안정적이고 정확한 예측을 가능하게 했다.
• 실험 결과는 제안된 방법이 클릭 기반 최적화에서 내재된 편향을 줄이며 진정한 관련성 최대화의 목표와 더 잘 부합함을 확인했다.