[논문 리뷰] Reducing Offline Evaluation Bias in Recommendation Systems

Arnaud De Myttenaere, Bénédicte Le Grand외 2명|arXiv (Cornell University)|2014. 07. 03.

Recommender Systems and Techniques참고 문헌 8인용 수 13

한 줄 요약

이 논문은 이전 추천 알고리즘에 의해 사용자 행동이 영향을 받는 것에 기인한 공변량 이동( covariate shift )으로 인해 추천 시스템 평가에 발생하는 편향을 줄이기 위해 가중치를 적용한 오프라인 평가 방법을 제안한다. 시간대 간 확률 분포의 변화에 기반해 조정 가능한 아이템 가중치를 부여함으로써 평가 점수의 안정성을 높이고, 실제 Viadeo 데이터에서 생산 알고리즘의 성능을 과대평가하는 현상을 크게 감소시킨다.

ABSTRACT

Recommendation systems have been integrated into the majority of large online systems. They tailor those systems to individual users by filtering and ranking information according to user profiles. This adaptation process influences the way users interact with the system and, as a consequence, increases the difficulty of evaluating a recommendation algorithm with historical data (via offline evaluation). This paper analyses this evaluation bias and proposes a simple item weighting solution that reduces its impact. The efficiency of the proposed solution is evaluated on real world data extracted from Viadeo professional social network.

연구 동기 및 목표

• 이전 추천 알고리즘이 사용자 행동에 영향을 미치는 역사적 데이터로 인해 오프라인 평가 편향 문제가 점점 커지는 문제를 다루기.
• 자주 추천되는 아이템의 예측 가능성 증가로 인해 오프라인 평가가 시간이 지남에 따라 생산 알고리즘의 성능을 과대평가하는 경향이 있음을 규명하기.
• 기준 평가 시점 이후 생성된 신규 데이터를 기각하지 않고도 일반화 가능한 해법을 제안하여 이 편향을 완화하기.
• 아이템 인기도 분포의 변화를 보정함으로써 일정한 추천 알고리즘에 대한 오프라인 평가 점수를 안정화하기.
• 실제 전문가 소셜 네트워크 데이터를 바탕으로 제안된 방법의 효과성을 입증하여, 지배적인 알고리즘이 아닌 알고리즘의 성능 저하를 감소시키기.

제안 방법

• 두 시점 간의 아이템 인기도 확률 변화를 보정하기 위해 각 아이템에 조정 가능한 가중치를 할당하는 가중 평가 프레임워크를 도입한다.
• 이전 데이터 기반으로 사용자-아이템 확률을 재가중하기 위해 $ P(i|u,\omega) = \frac{\omega_i P(i|u)}{\sum_{j \in I} \omega_j P(j|u)} $ 라는 가중 함수를 사용한다.
• 기본 분포와 가중 분포 간의 쿨백-라이블러 발산을 최소화함으로써 가중치를 최적화한다: $ D(\omega) = \sum_i \frac{P_{t_0}(i)}{P_{t_1}(i|\omega)} \log \frac{P_{t_1}(i|\omega)}{P_{t_0}(i)} $.
• 해석적 표현을 사용해 발산의 기울기를 계산한다: $ \frac{\partial P(i|u,\omega)}{\partial \omega_k} = \frac{P(k|u,\omega)}{\omega_k}(\delta_{ik} - P(i|u,\omega)) $.
• 기울기 기반 최적화를 통해 평가 편향을 줄이고 전체 역사를 포함한 데이터를 유지하면서 최적의 가중치를 도출한다.
• 사용자-아이템 존재 행렬을 사전 계산하고 희소성 특성을 활용하여 $ \mathcal{O}(p \cdot N_{U \times I}) $ 복잡도를 달성한다. 여기서 $ p $ 는 활성 가중치의 수이다.

실험 결과

연구 질문

• RQ1 이전 알고리즘의 영향으로 사용자 행동이 변화함에 따라 오프라인 평가가 생산 알고리즘의 성능을 얼마나 과대평가하는가?
• RQ2 이전 추천으로 인한 아이템 인기도 분포의 변화를 보정하기 위해 오프라인 평가를 어떻게 조정할 수 있는가?
• RQ3 간단한 아이템 가중치 부여 방식이 지배적이지 않은 시스템의 알고리즘에 대해 오프라인 평가 점수를 효과적으로 안정화시킬 수 있는가?
• RQ4 활성 가중치의 수가 안정적이거나 불안정한 아이템 추천을 하는 알고리즘의 경우 편향 감소 성능에 어떤 영향을 미치는가?
• RQ5 기준 평가 시점 이후 생성된 신규 데이터를 기각하지 않고도 제안된 방법이 시간이 지나도 평가의 안정성을 유지하는가?

주요 결과

• 제안된 가중치 부여 방법은 특히 생산 시스템에서 지배적이지 않은 알고리즘에 대해 오프라인 평가 편향을 크게 감소시킨다.
• 지배적인 알고리즘 $ g^1 $ 의 경우, 인기도가 시간에 따라 크게 변동하므로 단지 $ p=20 $ 개의 활성 가중치로도 성능 안정화가 달성된다.
• 지배적이지 않은 알고리즘 $ g^2 $ 의 경우, 외부 요인으로 인해 인기 있는 아이템을 추천하지 못하므로 성능 저하가 발생하고, 이에 따라 더 많은 가중치($ p>20 $)가 필요하다.
• 이 방법은 '승자독점' 편향을 효과적으로 완화하여 생산 알고리즘의 과대평가를 방지하고, 비지배적 알고리즘 간의 공정한 비교를 가능하게 한다.
• 기울기 기반 가중치 최적화는 계산적으로 실현 가능하며, 복잡도 $ \mathcal{O}(p \cdot N_{U \times I}) $ 를 가지므로 대규모 데이터셋에 대해 확장 가능하다.
• 모든 역사적 데이터를 기각하지 않고 포함함으로써 평가의 무결성을 유지하고 공변량 이동에 대한 강건성을 확보한다.