[논문 리뷰] Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits

Yunbei Xu, Assaf Zeevi|arXiv (Cornell University)|2020. 07. 15.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 7

한 줄 요약

이 논문은 상위 역행성 신뢰 구간(UCBB)을 소개한다. 이는 행동 공간이 아닌 정책 공간에서 작동하는, 맥락적 밴디트 문제에 대한 새로운 낙관주의 원칙으로, 큰 또는 무한한 맥락 및 행동 공간에서 증명 가능하고 효율적인 누적 손실 한계를 달성한다. 잠재 함수 관점과 역행성 행동 분리도를 활용함으로써, 가중치가 부여된 행동 할당에 의존하지 않고도 최적의 누적 손실를 달성하며, 실현 가능성 조건 하에서 일반 함수 클래스로의 UCB 스타일 낙관주의를 확장한다.

ABSTRACT

The principle of optimism in the face of uncertainty is one of the most widely used and successful ideas in multi-armed bandits and reinforcement learning. However, existing optimistic algorithms (primarily UCB and its variants) often struggle to deal with general function classes and large context spaces. In this paper, we study general contextual bandits with an offline regression oracle and propose a simple, generic principle to design optimistic algorithms, dubbed "Upper Counterfactual Confidence Bounds" (UCCB). The key innovation of UCCB is building confidence bounds in policy space, rather than in action space as is done in UCB. We demonstrate that these algorithms are provably optimal and computationally efficient in handling general function classes and large context spaces. Furthermore, we illustrate that the UCCB principle can be seamlessly extended to infinite-action general contextual bandits, provide the first solutions to these settings when employing an offline regression oracle.

연구 동기 및 목표

• 기존의 UCB와 같은 낙관주의 알고리즘의 한계를 해결하기 위해, 일반 맥락적 밴디트 문제에서 맥락 공간 크기가 커질수록 성능이 떨어지는 문제를 해결한다.
• 실현 가능성 조건 하에서 일반적이고 효율적이며 증명 가능한 최적의 낙관주의 알고리즘을 개발한다.
• 역행성 행동 분리도를 도입하여 행동 공간이 무한한 경우에도 낙관주의 원칙을 확장한다.
• 랜덤화되거나 가중치가 부여된 행동 할당 방식에 의존하지 않는 맥락적 밴디트 문제에서의 낙관주의에 대한 이론적 기반을 마련한다.

제안 방법

• 행동 공간이 아닌 정책 공간에서의 신뢰 구간을 구성하는 새로운 낙관주의 원칙인 UCCB를 제안한다.
• 잠재 함수 관점을 사용하여 맥락 설정에서 낙관주의의 힘을 체계화함으로써, 더 날카롭고 확장 가능한 신뢰 구간을 가능하게 한다.
• 무한한 행동 공간에서의 신뢰 구간을 정의하기 위해 '역행성 행동 분리도'의 개념을 도입하여 UCB 프레임워크를 일반화한다.
• 희소 행동 분포를 효율적으로 계산하기 위해 좌표 강하 기반의 낙관적 서브루틴을 설계하며, 유한 시간 내 수렴을 보장한다.
• 최소 제곱 오라클과 행렬 역행렬을 활용하여, 역행성 분리도의 연속적 해석을 통해 낙관적 행동 선택을 계산한다.
• 탐색과 이용을 정책 공간에서 균형 잡힌 적응적 분포 갱신을 통해 유지함으로써 낙관주의를 유지를 설계한다.

실험 결과

연구 질문

• RQ1 원칙적인 낙관주의 기반 알고리즘이 큰 또는 무한한 맥락 및 행동 공간을 가진 일반 맥락적 밴디트 문제에서 최적의 누적 손실를 달성할 수 있는가?
• RQ2 스케일링과 성능 향상을 위해 행동 공간이 아닌 정책 공간에서의 신뢰 구간을 체계적으로 어떻게 구성할 수 있는가?
• RQ3 잠재 함수는 맥락적 밴디트 설정에서 낙관주의의 효과성을 설명하는 데 어떤 역할을 하는가?
• RQ4 무한한 행동 공간에서의 역행성 행동 분리도를 어떻게 사용하여 신뢰 구간을 정의할 수 있는가?
• RQ5 UCCB는 랜덤화되거나 가중치가 부여된 행동 할당 방식에 의존하지 않고도 최적의 누적 손실를 달성할 수 있는가?

주요 결과

• UCCB는 실현 가능성 조건 하에서 일반 맥락적 밴디트 문제에 대해 증명 가능한 최적의 누적 손실 한계를 달성한다. 맥락 공간이 크거나 무한하더라도 성립한다.
• 기존 UCB 변종의 핵심적 한계를 극복하기 위해 맥락 공간의 기수에 의존하지 않고 최적의 누적 손실 스케일링을 유지한다.
• 정책 공간에서 작동하고 잠재 함수를 활용함으로써, 이전의 낙관주의 접근보다 더 깔끔하고 원칙적인 분석을 가능하게 한다.
• 무한한 행동 공간에서의 신뢰 구간 정의를 위한 새로운 도구로 역행성 행동 분리도를 도입함으로써, 유한한 행동을 넘어서 낙관주의 기반 알고리즘의 확장을 가능하게 한다.
• 낙관적 서브루틴은 O(log T) 오라클 호출 수에 의해 유한한 반복 수 내에서 수렴하며, 필요한 신뢰 구간을 효율적으로 유지한다.
• UCCB는 일반 함수 클래스를 가진 실현 가능성 맥락적 밴디트 문제에 대해 최초로 최적이고 효율적인 낙관주의 알고리즘을 제공하며, 보다 넓은 강화 학습 응용 분야의 기반을 마련한다.