[논문 리뷰] Contextual Dueling Bandits

Miroslav Dudı́k, Katja Hofmann외 3명|arXiv (Cornell University)|2015. 02. 23.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 6

한 줄 요약

이 논문은 맥락적 듀얼링 밴디트 프레임워크를 소개하며, 조건부 승자(Condorcet winner)와 달리 항상 존재하는 랜덤화 정책인 바나흐-빈-비너 승자(von Neumann winner)를 제안한다. 이는 모든 다른 정책과의 쌍대 비교에서 적어도 50퍼센트 확률로 이기거나 비기며, 강건한 해결 개념이다. 저자들은 시간과 공간 복잡도가 정책 공간 크기의 로그에 비례하는 세 가지 효율적인 알고리즘—SparringFPL, ProjectedGD, 및 분류 오라클을 사용하는 변종—을 제시하여 상대적 피드백 하에서 대규모 정책 공간에서 확장 가능한 온라인 및 배치 학습을 가능하게 한다.

ABSTRACT

We consider the problem of learning to choose actions using contextual information when provided with limited feedback in the form of relative pairwise comparisons. We study this problem in the dueling-bandits framework of Yue et al. (2009), which we extend to incorporate context. Roughly, the learner's goal is to find the best policy, or way of behaving, in some space of policies, although "best" is not always so clearly defined. Here, we propose a new and natural solution concept, rooted in game theory, called a von Neumann winner, a randomized policy that beats or ties every other policy. We show that this notion overcomes important limitations of existing solutions, particularly the Condorcet winner which has typically been used in the past, but which requires strong and often unrealistic assumptions. We then present three efficient algorithms for online learning in our setting, and for approximating a von Neumann winner from batch-like data. The first of these algorithms achieves particularly low regret, even when data is adversarial, although its time and space requirements are linear in the size of the policy space. The other two algorithms require time and space only logarithmic in the size of the policy space when provided access to an oracle for solving classification problems on the space.

연구 동기 및 목표

• 듀얼링 밴디트에서 조건부 승자 개념의 한계를 해결하기 위해, 강력한 전이성 가정이 필요하고 대규모 정책 공간에서는 존재하지 않을 수 있는 조건부 승자 개념의 문제점을 해결한다.
• 제약 조건이 없는 가정 하에서도 항상 존재함을 보장하는 일반적인 해결 개념을 개발하기 위해 게임 이론 원리를 활용한다.
• 대규모 또는 무한 정책 공간에서 확장 가능한 맥락적 듀얼링 밴디트에 대한 효율적인 온라인 및 배치 학습 알고리즘을 설계한다.
• 적대적 환경에서 낮은 손실을 달성하면서도 정책 공간 크기의 로그에 비례하는 복잡도를 유지함으로써 계산 가능성을 확보한다.
• 피드백이 쌍대 비교에 국한되더라도, 감독 학습 수준의 유연한 정책 설계를 가능하게 한다.

제안 방법

• 해결 개념으로 바나흐-빈-비너 승자(von Neumann winner)를 제안한다: 쌍대 비교에서 어떤 다른 정책과도 적어도 50퍼센트 확률로 이기거나 비기는 랜덤화 정책.
• SparringFPL을 도입한다: FPL 알고리즘의 두 복제본을 정신적으로 대결시키며 실행하는 완전한 온라인 알고리즘으로, 편향된 누적 손실을 사용해 바나흐-빈-비너 승자를 근사한다.
• ProjectedGD를 활용한다: 전략 벡터를 유지하고 기울기 스텝을 통해 업데이트하는 온라인 투영 기반 경사하강법이며, 타당성을 확보하기 위해 근사 투영을 수행한다.
• 근사 투영 절차 ApproxProject를 설계한다: 반복적인 최적 반응 업데이트를 사용해 진짜 투영에 가까운 벡터를 계산하며, 오차는 초기 추측값과 반복 횟수의 함수로 유계된다.
• 분류 오라클을 활용해 알고리즘 내의 argmin 연산을 구현함으로써 정책 공간 크기의 로그에 비례하는 시간 및 공간 복잡도를 달성한다.
• 초기화 매개변수(예: 스텝 크기, 편향 스케일)를 최적화하여 고확률로 ε-근사 해를 달성하고 낮은 손실 한계를 확보한다.

실험 결과

연구 질문

• RQ1 조건부 승자가 존재하지 않을 수 있는 맥락적 듀얼링 밴디트에 대해 항상 존재하는 강건한 해결 개념을 정의할 수 있는가?
• RQ2 상대적 피드백 하에서 맥락적 듀얼링 밴디트 설정에서 낮은 손실을 달성하는 온라인 학습 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 큰 정책 공간에서 효율적으로 스케일링할 수 있는 알고리즘을 어떻게 구성할 수 있는가? 이는 |Π|에 선형 의존성을 피해야 한다.
• RQ4 분류 오라클만을 사용하고 정책 공간 크기의 로그에 비례하는 복잡도를 달성하는 알고리즘의 이론적 손실 한계는 무엇인가?
• RQ5 온라인 최적화에서 수렴 보장을 유지하면서도 효율적으로 근사 투영을 계산할 수 있는 방법은 무엇인가?

주요 결과

• 바나흐-빈-비너 승자는 어떤 듀얼링 밴디트 설정에서도 항상 존재하며, 전이성이나 조건부 승자 가정이 필요 없어 강건하고 일반적인 해결 개념이다.
• SparringFPL은 적대적 데이터 하에서도 낮은 손실을 달성하지만, 시간 및 공간 복잡도는 정책 공간 크기와 선형 관계를 가진다.
• ProjectedGD는 K⁸/ε⁴개의 오라클 호출로 컴act 게임 공식화에 대한 ε-근사 해를 달성하며, 정책 공간 크기의 로그에 비례하는 효율성을 확보한다.
• 근사 투영 절차 ApproxProject는 α = 8/√Nin일 때 오차가 유계지므로, 투영 기반 경사하강법 프레임워크에서 안정적이고 정확한 업데이트를 보장한다.
• 적절한 매개변수 튜닝을 통해 SparringFPL과 ProjectedGD 모두 고확률로 ε-근사 해를 달성하며, 대규모 맥락적 듀얼링 밴디트의 이론적 실현 가능성을 입증한다.
• 분류 오라클을 활용함으로써 알고리즘이 낮은 손실과 확장 가능성을 달성하여, 정보 검색 및 추천 시스템과 같은 대규모 응용 분야에서 실용적이다.