[논문 리뷰] Study of a bias in the offline evaluation of a recommendation algorithm

Arnaud De Myttenaere, Boris Golden외 2명|arXiv (Cornell University)|2015. 11. 04.

Recommender Systems and Techniques인용 수 3

한 줄 요약

이 논문은 이전 추천이 역사적 데이터에 영향을 주어 추천 알고리즘의 오프라인 평가에 편향이 발생하는 것을 규명한다. 이 편향을 보정하기 위해 인스턴스 가중치를 사용하는 가중치 기반 오프라인 평가 방법을 제안하며, 실제 Viadeo 데이터에서 상수 및 공동 필터링 알고리즘의 평가 오차를 크게 감소시킴을 입증한다. 다만 캠페인으로 인한 구조적 변화로 인해 점수의 완전한 안정화가 어려움.

ABSTRACT

Recommendation systems have been integrated into the majority of large online systems to filter and rank information according to user profiles. It thus influences the way users interact with the system and, as a consequence, bias the evaluation of the performance of a recommendation algorithm computed using historical data (via offline evaluation). This paper describes this bias and discuss the relevance of a weighted offline evaluation to reduce this bias for different classes of recommendation algorithms.

연구 동기 및 목표

• 이전 추천이 역사적 데이터에 영향을 주어 추천 알고리즘의 오프라인 평가에 체계적인 편향이 발생하는 원인를 규명하고 분석하는 것.
• 이 편향에 대한 보정 방법으로서 인스턴스 가중치의 효과성을 오프라인 평가에서 평가하는 것.
• 가중치 기반 평가가 단순(상수) 및 복잡(공동 필터링) 추천 알고리즘의 성능 추정 정확도를 향상시키는지 평가하는 것.
• 편향의 이중성에 대한 조사: 하나는 항목 선택 확률의 변화에서 기인하고, 다른 하나는 사용자-항목 상호작용 그래프의 구조적 변화에서 기인함.
• Viadeo의 전문가 소셜 네트워크에서의 실질적 데이터에 대해 가중치 방법의 실용성을 입증하는 것.

제안 방법

• 논문은 기준 분포 하에서 각 사용자-항목 쌍의 발생 가능성에 따라 인스턴스별 가중치를 할당하는 가중치 기반 오프라인 평가 프레임워크를 도입하여 공변수 이동 문제를 보정한다.
• 평가를 가중치가 부여된 예측 정확도의 평균으로 설정하며, 학습 데이터와 평가 데이터 분포 간의 차이를 최소화하도록 가중치를 최적화한다.
• 확률 모델을 사용해 각 항목이 평가에 선택될 확률을 추정하고, 과거 추천 캠페인의 영향을 보정한다.
• 공동 필터링에 대해서는 코사인 유사도 및 난이도 있는 CF 알고리즘 모두에 동일한 최적화 절차를 사용해 가중치 기반 보정을 적용한다.
• 가중치는 시간에 따라 반복적으로 계산되며, 최적화된 가중치 수(p)가 재조정 정도를 제어한다.
• 이 방법은 Viadeo 데이터의 201일 간 기간 동안 검증되었으며, t=330과 t=430에 두 번의 주요 추천 캠페인을 포함한다.

실험 결과

연구 질문

• RQ1 이력 데이터에 이전 추천이 존재할 경우, 추천 알고리즘의 오프라인 평가에 어떤 편향이 발생하는가?
• RQ2 인스턴스 가중치가 상수 추천 알고리즘의 오프라인 평가에서 편향을 어느 정도 감소시킬 수 있는가?
• RQ3 동일한 가중치 전략이 더 복잡한 공동 필터링 알고리즘의 편향을 효과적으로 감소시킬 수 있는가?
• RQ4 사용자-항목 그래프의 선택 확률 이동과 구조적 변화가 전체 평가 편향에 기여하는 비율은 각각 얼마인가?
• RQ5 최적화된 가중치 수(p)가 보정된 평가의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• Viadeo의 두 번의 추천 캠페인(t=330 및 t=430) 이후 오프라인 평가 점수가 크게 감소하여 이전 추천이 가져온 편향이 뚜렷하게 드러남.
• 제안된 가중치 방법은 오프라인 평가의 편향을 효과적으로 감소시켰으며, p 값이 클수록 보정 정도가 더 높아짐.
• 상수 추천 알고리즘의 경우, 가중치 기반 평가가 캠페인 이후 점수를 안정화시켜 선택 편향을 강력하게 보정함.
• 공동 필터링 알고리즘의 경우, 선택 확률 기반 편향은 감소시켰지만 사용자-항목 그래프의 구조적 변화로 인해 점수의 완전한 안정화를 달성하지 못함.
• 편향은 두 가지 성분으로 구성됨: 항목 선택 확률 변화와 캠페인 유도로 인한 사용자-항목 연결 증가로 인한 그래프 밀도 증가.
• 결과적으로 인스턴스 가중치는 랜덤 데이터 수집이 불가능한 오프라인 환경에서 평가 편향을 줄이는 실용적이고 효과적인 접근법임을 확인함.