[논문 리뷰] Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback

Chicheng Zhang, Alekh Agarwal외 3명|arXiv (Cornell University)|2019. 01. 02.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 12

한 줄 요약

이 논문은 비용 분포가 일치하지 않을 경우에도 감독 피드백과 컨텍스트 밴딧 피드백을 견고하게 조합할 수 있는 no-regret 알고리즘인 ARROW-CB를 제안한다. 이 방법은 가설 클래스에 특화된 비용 유사도 측정 기준을 사용해 두 데이터 유형 간의 균형을 적응적으로 조정하며, 사전에 최적의 가중치를 알고 있는 오라클에 가까운 성능을 달성한다. 수백 개의 데이터셋에서의 실험적 검증을 통해 기존 기준 대비 일관된 성능 향상을 보였다.

ABSTRACT

We investigate the feasibility of learning from a mix of both fully-labeled supervised data and contextual bandit data. We specifically consider settings in which the underlying learning signal may be different between these two data sources. Theoretically, we state and prove no-regret algorithms for learning that is robust to misaligned cost distributions between the two sources. Empirically, we evaluate some of these algorithms on a large selection of datasets, showing that our approach is both feasible and helpful in practice.

연구 동기 및 목표

• 기본 비용 분포가 서로 다를 수 있는 환경에서 감독 데이터와 컨텍스트 밴딧 피드백을 효과적으로 통합하는 견고한 학습 알고리즘을 개발하는 것.
• 전문가(감독)와 사용자(밴딧) 피드백 신호가 완벽하게 일치하지 않을 경우에도 no-regret 학습을 보장하는 것. 이는 실제 응용에서 흔한 상황이다.
• 두 피드백 소스 간의 비용 유사도를 사전에 알고 있는 오라클에 가까운 성능을 내기 위해 최적의 가중치를 찾는 데 드는 회귀 손실을 최소화하는 방법을 설계하는 것.
• 감독 웜스타트 데이터에 다양한 편향과 노이즈가 존재하는 다양한 데이터셋에서의 경험적 검증을 수행하는 것.

제안 방법

• 감독 예제와 컨텍스트 밴딧 피드백을 가중 손실 함수를 통해 조합함으로써 정책을 학습하는 no-regret 알고리즘인 ARROW-CB를 제안한다.
• 감독 피드백과 밴딧 피드백 분포 간의 차이를 정량화하기 위해 가설 클래스에 특화된 비용 유사도 측정 기준을 도입하며, 이는 이론적 분석에 사용되지만 알고리즘 자체에는 포함되지 않는다.
• 감독 피드백과 밴딧 피드백 간의 최적 균형을 찾는 적응형 가중치 기반 전략을 사용하여, 비용 유사도를 사전에 알고 있는 오라클에 비해 회귀 손실을 최소화한다.
• 컨텍스트 밴딧 단계에서 ϵ-greedy 탐색 전략을 사용하며, 실험에 따라 ϵ 값을 0.0125 또는 0.1로 설정하여 충분한 탐색을 보장한다.
• 두 데이터 소스 간 최적 가중치를 탐색하는 데 사용되는 파라미터 |Λ|를 도입하며, 실험 결과 |Λ| = 8일 때 성능이 가장 뛰어나다는 것이 확인되었다.
• 완전히 레이블링된 데이터셋에서 컨텍스트 밴딧 피드백을 시뮬레이션하여, 감독 데이터에 다양한 수준의 편향과 노이즈가 존재하는 조건에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 감독 피드백과 밴딧 피드백의 비용 분포가 일치하지 않을 경우, 컨텍스트 밴딧 알고리즘이 no-regret 학습을 달성할 수 있는가?
• RQ2 제안된 방법은 한 가지 피드백 소스를 忽略하거나 두 소스를 단순 평균화하는 기준 대비 얼마나 우수한 성능을 보이는가?
• RQ3 감독 웜스타트 데이터에 다양한 수준의 편향이 존재할 경우, 통합 학습 접근법의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법의 성능은 사전에 최적의 가중치를 알고 있는 오라클에 비해 얼마나 가까운가?

주요 결과

• ARROW-CB는 |Λ| = 8일 때, 감독 데이터와 밴딧 데이터를 모두 사용하는 다른 방법들조차도 포함해 수백 개의 데이터셋에서의 집계된 성능에서 모두 승리한다.
• 모든 노이즈 수준과 웜스타트 비율에서, ARROW-CB는 누적분포함수(CDF) 기반의 정규화 오차가 모든 기준(감독 전용, 밴딧 전용, 다수결)을 일관되게 압도한다.
• 감독 데이터에 편향이 존재할 경우(예: p = 0.25 또는 p = 0.5)에도 ARROW-CB는 강력한 성능을 유지하며, 비일치에 대한 강건성을 입증한다.
• |Λ| = 8인 ARROW-CB의 성능은 |Λ| = 2인 경우보다 항상 뛰어나며, 이는 가중치 파rameter에 대한 더 세밀한 탐색이 강건성을 향상시킨다는 것을 시사한다.
• 감독 및 밴딧 피드백을 모두 활용하는 기준인 SIM-BANDIT는 ARROW-CB에 비해 유의미하게 열등한 성능을 보이며, 제안된 적응형 가중치 기반 메커니즘이 유리함을 입증한다.
• 노이즈가 없거나 고노이즈 조건을 포함한 모든 실험 조건에서 ARROW-CB는 열등한 성능을 유지하며, CDF 곡선이 주어진 임계값 이하의 오차를 가진 조건의 비율이 더 높다는 점에서 뚜렷한 우수성을 보였다.