[논문 리뷰] Optimizing an Utility Function for Exploration / Exploitation Trade-off in Context-Aware Recommender System

Djallel Bouneffouf|arXiv (Cornell University)|2013. 03. 03.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 3

한 줄 요약

이 논문은 클릭된 항목과 클릭되지 않은 항목의 보상 확률 분포를 모델링하는 유틸리티 함수를 최적화하여, 맥락 인식 추천 시스템에서 동적 탐색-이용 전략을 제안한다. 선형화된 유틸리티 함수를 통해 탐색과 이용을 적응적으로 균형 잡고, 실제 이벤트 로그 데이터를 사용한 오프라인 평가에서 클릭률(CTR)을 크게 향상시킨다.

ABSTRACT

In this paper, we develop a dynamic exploration/ exploitation (exr/exp) strategy for contextual recommender systems (CRS). Specifically, our methods can adaptively balance the two aspects of exr/exp by automatically learning the optimal tradeoff. This consists of optimizing a utility function represented by a linearized form of the probability distributions of the rewards of the clicked and the non-clicked documents already recommended. Within an offline simulation framework we apply our algorithms to a CRS and conduct an evaluation with real event log data. The experimental results and detailed analysis demonstrate that our algorithms outperform existing algorithms in terms of click-through-rate (CTR).

연구 동기 및 목표

• 맥락 인식 추천 시스템(CRS)에서 탐색과 이용을 균형 잡는 문제를 해결하기 위해.
• 새로운 항목을 탐색하고 알려진 고보상 항목을 이용하는 데 최적의 트레이드오프를 적응적으로 학습하는 동적 전략을 개발하기 위해.
• 실세계 이벤트 로그 데이터를 사용하여 추천 성능, 특히 클릭률(CTR)을 향상시키기 위해.
• 탐색-이용 트레이드오프를 클릭된 항목과 클릭되지 않은 항목의 보상 확률 분포에서 유도된 유틸리티 함수에 대한 최적화 문제로 정식화하기 위해.

제안 방법

• 이 방법은 클릭된 문서와 클릭되지 않은 문서의 보상 확률 분포를 선형화된 형태의 유틸리티 함수로 모델링한다.
• 이 유틸리티 함수를 기반으로 탐색-이용 트레이드오프를 최적화 문제로 설정하여, 추천 전략을 동적으로 조정한다.
• 알고리즘을 훈련하고 평가하기 위해 실제 이벤트 로그 데이터를 사용한 오프라인 시뮬레이션을 사용한다.
• 관측된 사용자 피드백(클릭/비클릭)에 기반해 유틸리티 함수를 반복적으로 갱신하여 변화하는 보상 기대치를 반영한다.
• 수동적인 하이퍼파라미터 조정이 필요 없이 탐색과 이용의 균형을 자동으로 조정한다.
• 맥락 기반 밴디트 프레임워크에서 평가되며, 맥락 특징이 개인화된 추천에 사용된다.

실험 결과

연구 질문

• RQ1 맥락 인식 추천에서 탐색과 이용의 트레이드오프를 효과적으로 모델링하기 위해 유틸리티 함수를 어떻게 설계할 수 있는가?
• RQ2 적응적이고 데이터 기반의 전략이 실제 로그 데이터에서 정적 또는 히우리스틱 탐색-이용 정책을 능가할 수 있는가?
• RQ3 기존 방법과 비교해 선형화된 유틸리티 함수를 최적화함으로써 클릭률(CTR)은 얼마나 향상되는가?
• RQ4 제안된 방법은 사용자 피드백과 맥락에 기반해 탐색-이용 균형을 어떻게 동적으로 조정하는가?
• RQ5 클릭된 항목과 클릭되지 않은 항목의 확률 분포를 사용할 경우 전체 추천 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 오프라인 평가에서 기준 알고리즘 대비 통계적으로 유의미한 클릭률(CTR) 향상을 달성한다.
• 유틸리티 함수 최적화를 통해 수동 조정 없이 자동이고 적응적인 탐색-이용 균형 조정이 가능하다.
• 사용자 피드백의 확률 분포를 활용함으로써 다양한 맥락에서 견고한 성능을 보인다.
• 선형화된 유틸리티 함수는 트레이드오프의 역학을 효과적으로 포착하여 장기적인 보상 누적에 기여한다.
• 제안된 최적화 프레임워크의 효과성을 확인하며, CTR 측면에서 기존 접근법을 능가한다.