[논문 리뷰] Collaborative Filtering and the Missing at Random Assumption

Benjamin M. Marlin, Richard S. Zemel외 2명|arXiv (Cornell University)|2012. 06. 20.

Recommender Systems and Techniques참고 문헌 10인용 수 186

한 줄 요약

이 논문은 협업 필터링에서 일반적으로 사용되는 누락 데이터가 무작위로 누락된(MAR) 가정에 도전한다. 연구자들은 사용자 평가가 종종 무작위로 누락되지 않음을 입증하며, 사용자들의 음악에 대한 평가가 그들이 음악을 평가할지 여부에 영향을 준다는 점을 밝힌다. 온라인 라디오 서비스에서 실시한 사용자 연구를 통해, 누락 데이터 메커니즘을 명시적으로 모델링할 경우, 특히 무작위 평가 샘플에서 평가 예측 성능이 향상되어 기존의 MAR 기반 방법을 뛰어넘는 추천 정확도를 달성함을 보여준다.

ABSTRACT

Rating prediction is an important application, and a popular research topic in collaborative filtering. However, both the validity of learning algorithms, and the validity of standard testing procedures rest on the assumption that missing ratings are missing at random (MAR). In this paper we present the results of a user study in which we collect a random sample of ratings from current users of an online radio service. An analysis of the rating data collected in the study shows that the sample of random ratings has markedly different properties than ratings of user-selected songs. When asked to report on their own rating behaviour, a large number of users indicate they believe their opinion of a song does affect whether they choose to rate that song, a violation of the MAR condition. Finally, we present experimental results showing that incorporating an explicit model of the missing data mechanism can lead to significant improvements in prediction performance on the random sample of ratings.

연구 동기 및 목표

• 실제 협업 필터링 시스템에서 누락 데이터가 무작위로 누락된(MAR) 가정이 성립하는지 조사하기 위해.
• 특히 사용자 행동—즉, 음악에 대한 평가가 평가 결정에 영향을 주는 방식—이 MAR 가정의 타당성에 어떤 영향을 미치는지 검토하기 위해.
• 누락 데이터 메커니즘을 명시적으로 모델링할 경우 평가 예측 성능이 향상되는지 평가하기 위해.
• MAR 기반 모델과 비-MAR 평가 행동을 고려한 모델 간의 예측 성능을 비교하기 위해.

제안 방법

• 온라인 라디오 서비스의 사용자들로부터 무작위로 추출한 평가 샘플을 대상으로 사용자 연구를 실시하여 사용자 평가 행동에 관한 데이터를 수집하였다.
• 사용자들이 음악에 대한 평가가 평가 결정에 영향을 미치는지 여부를 자가 보고한 데이터를 수집하였다.
• 누락 데이터 메커니즘을 명시적으로 통합한 확률 모델을 제안하였으며, 이는 사용자 및 아이템 특성에 따라 평가 가능성의 확률을 모델링하는 방식이었다.
• 수집된 데이터셋을 바탕으로 MAR 및 비-MAR 가정 하에서 협업 필터링 모델을 학습하고 평가하였다.
• 누락 데이터 과정을 추정하고 평가 예측 모델에 통합하기 위해 가능도 기반 프레임워크를 사용하였다.
• 표준 MAR 기반 모델과 비-MAR 평가 행동을 고려한 모델 간의 예측 성능(예: RMSE)을 비교하였다.

실험 결과

연구 질문

• RQ1 실제 협업 필터링 시스템에서 누락 데이터가 무작위로 누락된(MAR) 가정이 타당한가?
• RQ2 사용자들이 음악에 대한 평가가 평가 결정에 얼마나 큰 영향을 미치는가?
• RQ3 누락 데이터 메커니즘을 모델링하면 평가 예측 성능이 향상될 수 있는가?
• RQ4 MAR 기반 모델과 비-MAR 평가 행동을 고려한 모델 간의 예측 성능는 어떻게 다를까?

주요 결과

• 많은 수의 사용자들이 자신의 음악에 대한 평가가 평가 여부에 영향을 준다고 보고하여, MAR 가정을 위반함을 확인하였다.
• 연구에서 수집한 무작위 평가 샘플은 사용자가 선택한 음악 평가와 비교해 뚜렷이 다른 통계적 성질을 보였다.
• 누락 데이터 메커니즘을 명시적으로 모델링함으로써 무작위 평가 샘플에서 예측 성능 향상이 측정되었다.
• MAR 가정이 위반된 경우에 특히 성능 향상이 두드러져, 평가 행동 과정을 모델링하는 것이 중요함을 시사하였다.
• 결과적으로, 비무시적 누락 데이터가 존재하는 실제 환경에서는 전통적인 MAR 기반 협업 필터링 방법이 편향되거나 최적화되지 않을 수 있음을 시사한다.