[논문 리뷰] Learning from Bandit Feedback: An Overview of the State-of-the-art

Olivier Jeunen, Dmytro Mykhaylov외 4명|arXiv (Cornell University)|2019. 09. 18.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 5

한 줄 요약

이 논문은 밴딧 피드백을 사용한 추천 시스템을 위한 오프-폴리시 학습 방법에 대한 종합적인 비교를 제시한다. 중요도 샘플링과 분산 감소 기법을 활용하는 IPS, POEM, SNIPS, 이중 학습 등의 기법을 평가한다. RecoGym에서의 실험을 통해 제한된 데이터에서 문맥적 밴딧이 뛰어난 성능을 보이며, 이중 밴딧 및 분산 정규화 기법이 부정적 피드백을 통합함으로써 학습의 안정성과 성능을 향상시킨다.

ABSTRACT

In machine learning we often try to optimise a decision rule that would have worked well over a historical dataset; this is the so called empirical risk minimisation principle. In the context of learning from recommender system logs, applying this principle becomes a problem because we do not have available the reward of decisions we did not do. In order to handle this "bandit-feedback" setting, several Counterfactual Risk Minimisation (CRM) methods have been proposed in recent years, that attempt to estimate the performance of different policies on historical data. Through importance sampling and various variance reduction techniques, these methods allow more robust learning and inference than classical approaches. It is difficult to accurately estimate the performance of policies that frequently perform actions that were infrequently done in the past and a number of different types of estimators have been proposed. In this paper, we review several methods, based on different off-policy estimators, for learning from bandit feedback. We discuss key differences and commonalities among existing approaches, and compare their empirical performance on the RecoGym simulation environment. To the best of our knowledge, this work is the first comparison study for bandit algorithms in a recommender system setting.

연구 동기 및 목표

• 로그된 행동과 보상만 이용 가능한 밴딧 피드백 환경에서 최근의 오프-폴리시 학습 방법을 평가하고 비교하는 것.
• 실제 시뮬레이션 환경에서 역행위험 최소화(Counterfactual Risk Minimization, CRM) 기법의 실용적 효과를 평가하는 것.
• 분산 감소 및 부정적 피드백 포함 여부가 정책 학습의 안정성과 성능에 미치는 영향을 조사하는 것.
• RecoGym 시뮬레이션 환경을 활용해 추천 시스템 맥락에서 밴딧 알고리즘을 처음으로 경험적으로 비교하는 것.

제안 방법

• 중요도 샘플링(IPS)을 사용하여 로그된 상호작용 기반으로 관측되지 않은 행동의 성능를 추정하며, 역성격도수에 따라 샘플을 재가중한다.
• POEM과 SNIPS에서 분산 감소 기법(예: 클리핑 및 페널티)을 적용하여 고분산 IPS 추정치에서 발생하는 학습의 불안정성을 완화한다.
• 이중 밴딧 접근법에서는 클릭 확률 추정과 문맥적 밴딧 정책 학습을 결합하여 긍정적 피드백뿐만 아니라 부정적 피드백도 활용한다.
• 클릭 예측 모델과 행동 선택 모델 간에 공유된 파rameterization을 도입하여 두 목표를 동시에 최적화한다.
• 모든 배치를 사용한 L-BFGS 최적화를 수행하고, 수치적 안정성을 확보하기 위해 젠슨의 부등식을 활용해 로그우도의 하한을 유도한다.
• RecoGym 시뮬레이션 환경을 활용하여 인기 기반 로깅 정책을 기반으로 현실적인 밴딧 피드백 데이터를 생성하고, A/B 테스트 방식으로 정책 성능을 평가한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제한적일 경우, 다양한 오프-폴리시 추정기의 CTR는 어떻게 성능을 내는가?
• RQ2 분산 정규화(예: POEM 및 SNIPS에서의 적용)는 정책 학습의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ3 클릭되지 않은 행동(즉, 부정적 피드백)을 통합할 경우, 클릭된 행동만을 사용하는 방법보다 정책 성능이 향상되는가?
• RQ4 로깅 정책의 선택이 오프-폴리시 학습 방법의 성능에 어떤 영향을 미치는가?
• RQ5 다양한 데이터 크기와 환경에서 가장 안정적이고 정확한 정책 추정을 달성하는 방법은 무엇인가?

주요 결과

• 제한된 데이터 환경에서 문맥적 밴딧이 가장 높은 CTR를 기록하며, 훈련에 5,000명의 사용자만 이용 가능한 경우 다른 방법들보다 뛰어난 성능을 보였다.
• 클릭 확률과 정책 선택을 동시에 최적화하는 이중 밴딧 방법은 부정적 피드백을 효과적으로 활용함으로써 뛰어난 성능을 나타냈다.
• POEM의 분산 페널티는 현재 설정에서는 영향이 제한적이었으며, 이는 로깅 정책과 목표 정책 간의 분산이 더 클 경우에 그 이점이 더 두드러질 수 있음을 시사한다.
• 클릭 모델링에 기반한 방법은 훈련 데이터가 증가함에 따라 문맥적 밴딧에 뒤처지지 않고 따라오며, 충분한 데이터가 확보되면 순수 클릭 모델링이 실용 가능해짐을 보여준다.
• SNIPS와 POEM는 고분산 IPS 추정치에 대해 향상된 안정성을 보였지만, SNIPS의 확률적 최적화 기능 덕분에 더 넓은 적용 범위를 가짐을 확인했다.
• 결과는 로깅 정책에 대한 민감도가 학습 품질에 영향을 미치며, 더 합리적인 정책을 사용할 경우 다양한 방법에서 안정적인 성능을 얻을 수 있음을 시사한다.