[논문 리뷰] Adaptive Exploration in Linear Contextual Bandit

Botao Hao, Tor Lattimore외 1명|arXiv (Cornell University)|2019. 10. 15.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 6

한 줄 요약

이 논문은 선형 컨텍스트 밴딧에 대해 渐近적으로 최적이고 계산적으로 효율적인 알고리즘을 제안하며, 유리한 데이터 분포에 적응하여 컨텍스트 분포가 풍부할 경우 하위 로그 수준의 리그레트를 달성한다. 최적의 액션 할당을 최적화 기반 방법으로 추정하고 추적함으로써, 유한 시간 리그레트에서 기존 알고리즘을 능가하면서도 이론적 최적성을 유지한다.

ABSTRACT

Contextual bandits serve as a fundamental model for many sequential decision making tasks. The most popular theoretically justified approaches are based on the optimism principle. While these algorithms can be practical, they are known to be suboptimal asymptotically. On the other hand, existing asymptotically optimal algorithms for this problem do not exploit the linear structure in an optimal way and suffer from lower-order terms that dominate the regret in all practically interesting regimes. We start to bridge the gap by designing an algorithm that is asymptotically optimal and has good finite-time empirical performance. At the same time, we make connections to the recent literature on when exploration-free methods are effective. Indeed, if the distribution of contexts is well behaved, then our algorithm acts mostly greedily and enjoys sub-logarithmic regret. Furthermore, our approach is adaptive in the sense that it automatically detects the nice case. Numerical results demonstrate significant regret reductions by our method relative to several baselines.

연구 동기 및 목표

• 선형 컨텍스트 밴딧에서 渐近적으로 최적인 알고리즘과 실용적인 유한 시간 성능 사이의 격차를 메우기 위해.
• 그리디 행동으로 충분한 유리한 데이터 분포를 자동으로 탐지하고 활용할 수 있는 알고리즘을 설계하기 위해.
• 기존의 渐近적으로 최적인 방법에서 실용적 영역에서 지배적인 하위 순서의 리그레트 항을 제거하기 위해.
• 이론적 최적성과 다양한 환경에서 뛰어난 경험적 성능을 동시에 확보할 수 있는 방법을 제공하기 위해.

제안 방법

• 알고리즘은 볼록 최적화 프레임워크를 사용하여 컨텍스트-액션 쌍 간의 최적의 플러그 할당을 추정하고 추적한다.
• 불확실성과 컨텍스트 분포의 풍부함에 따라 동적으로 조정되는 신뢰 기반 탐색 전략을 활용한다.
• 구조화된 밴딧에서 순수 탐색 기법을 영감으로 삼아 최적의 설계를 위한 새로운 추적 메커니즘을 사용한다.
• 할당 추정치의 수치적 안정성과 수렴성을 보장하기 위해 정규화 기법을 통합한다.
• 알고리즘이 자동으로 적응한다: 컨텍스트 분포가 잘 조절되어 있으면 하위 로그 수준의 리그레트를 보이며 거의 그리디 행동을 한다.
• 기존의 渐近적으로 최적인 알고리즘에서 흔히 나타나는 액션 수에 비례하는 선형 리그레트 항을 피하기 위해, 컨텍스트별 최적성에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 선형 컨텍스트 밴딧에서 渐近적으로 최적일 뿐 아니라 실용적인 유한 시간 영역에서도 효과적인 알고리즘이 존재할 수 있는가?
• RQ2 컨텍스트 밴딧에서 자연스러운 탐색이 하위 로그 수준의 리그레트를 초래하는 조건은 무엇인가?
• RQ3 강력한 이론적 보장이 있음에도 불구하고 기존의 渐近적으로 최적인 알고리즘이 실생활에서 실패하는 이유는 무엇인가?
• RQ4 기존 방법에서의 하위 순서 리그레트 항은 어떻게 제거할 수 있으며, 최적성을 흔들지 않으면서도?
• RQ5 사전 지식 없이도 알고리즘이 자동으로 유리한 데이터 분포를 탐지하고 활용할 수 있는가?

주요 결과

• 제안된 알고리즘은 이론적 하한선에 맞추어 渐近적으로 최적의 리그레트를 달성한다.
• 컨텍스트 분포가 풍부한 환경에서는 하위 로그 수준의 리그레트를 달성하며, 거의 그리디 행동을 한다.
• 수치 실험 결과, 최첨단 베이스라인인 OSSB와 ε-그리디에 비해 상당한 리그레트 감소 효과를 보였다.
• LinTS는 뛰어난 경험적 성능를 보였음에도 불구하고, 알고리즘은 LinTS의 히우리스틱 변형보다 리그레트 측면에서 뛰어나다.
• 기존 알고리즘에서 실용적 영역에서 지배적인 액션 수 |A|에 비례하는 선형 하위 순서 리그레트 항을 피한다.
• 이론적 분석을 통해 옵티미즘 기반 알고리즘도 유리한 컨텍스트 분포 하에서 하위 로그 수준의 리그레트를 달성함을 확인하였으며, 차이점은 오직 하위 순서 항에서만 나타난다.