[논문 리뷰] Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting

Akshay Krishnamurthy, John Langford외 2명|arXiv (Cornell University)|2019. 02. 05.

Advanced Bandit Algorithms Research참고 문헌 55인용 수 17

한 줄 요약

이 논문은 연속적인 행동 공간을 가진 컨텍스트 밴딧에 대해 새로운 스무딩 기반 접근법을 제안한다. 여기서 정책은 밴드위드 파rameter $ h $ 를 사용하여 문맥에서 행동의 분포로 매핑한다. 스무딩 기준을 기준으로 한 리그레트를 측정함으로써, 알려지지 않은 스무딩 정도에 적응하는 인스턴스에 의존하는 및 최악의 경우 리그레트 한계를 달성하며, 최적의 적응성과 조정 없이도 성능을 크게 향상시킨다. 이는 리프시츠 조건이나 파ram터에 대한 사전 지식 없이도 양호한 문제에서 성능을 개선한다.

ABSTRACT

We study contextual bandit learning with an abstract policy class and continuous action space. We obtain two qualitatively different regret bounds: one competes with a smoothed version of the policy class under no continuity assumptions, while the other requires standard Lipschitz assumptions. Both bounds exhibit data-dependent "zooming" behavior and, with no tuning, yield improved guarantees for benign problems. We also study adapting to unknown smoothness parameters, establishing a price-of-adaptivity and deriving optimal adaptive algorithms that require no additional information.

연구 동기 및 목표

• 기존의 컨텍스트 밴딧 알고리즘의 연속적 행동 공간에서의 한계를 해결하기 위해, 특히 전역 리프시츠 조건과 알려지지 않은 파ram터에 대한 의존도를 줄이기 위해.
• 손실 함수가 비연속적이거나 비스무스한 경우에도 효과적인 리그레트 프레임워크를 설계하기 위해, 행동에 대해 스무딩 기준을 도입함으로써.
• 밴드위드나 리프시츠 상수와 같은 파ram터에 대한 사전 지식 없이도 알려지지 않은 스무딩 정도에 자동으로 적응하는 알고리즘을 설계하기 위해.
• 정책 클래스의 복잡성과 문제의 본질적 구조에 따라 스케일링되는 최적의 인스턴스에 의존하는 및 최악의 경우 리그레트 보장을 달성하기 위해.
• 스무딩과 적응성을 하나의 알고리즘 프레임워크 안에 통합함으로써 이전의 줌인 및 비모수적 밴딧 접근법을 통합하고 향상시키기 위해.

제안 방법

• 각 행동 $ a $ 가 $[a-h, a+h]$ 위에서 균일 분포로 대체되는 스무딩 정책 클래스를 도입함으로써, 기준이 행동의 연속적인 함수로 잘 정의되도록 변환한다.
• 기존의 리그레트 개념을 새롭게 정의하여, 스무딩 정책 클래스 내에서 최고의 정책과의 성능 비교를 기반으로 한 '스무딩 리그레트'를 도입함으로써, 비연속적 손실에서 발생하는 근사 오차를 피한다.
• 모든 밴드위드 $ h $ 에 대해 작동하는 통합 알고리즘 프레임워크 $\mathtt{ContinuousEXP4}$ 를 사용함으로써, 조정 없이도 적응 가능한 성능을 달성한다.
• 관측된 손실에 기반해 행동 영역을 동적으로 정밀화하는 데이터 의존적 '줌인' 행동을 활용함으로써, 유리한 경우의 리그레트를 향상시킨다.
• $\mathtt{Corral+EXP4}$ 를 통합하여, 알려지지 않은 스무딩 수준에 대해 적응 가능한 성능을 달성하며, 하한선과 이론적으로 일치하는 보장을 제공한다.
• 안정성과 집중성의 추론을 적용하여, 스무딩 밴드위드 $ h $ 가 알려지지 않거나 변동하더라도 알고리즘이 낮은 리그레트를 유지함을 증명한다.

실험 결과

연구 질문

• RQ1 전역 리프시츠 연속성과 같은 강한 가정이 없는 연속적 행동 공간을 위한 컨텍스트 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 스무딩 파ram터에 대한 사전 지식 없이도, 정책 클래스와 손실 구조의 본질적 복잡성에 적응하는 인스턴스에 의존하는 리그레트 한계를 달성할 수 있는가?
• RQ3 모든 밴드위드 $ h $ 에 대해 수동 조정 없이도 최적의 성능을 내는 단일 알고리즘을 설계할 수 있는가?
• RQ4 스무딩 파ram터가 알려지지 않았을 때의 적응성의 비용은 무엇이며, 이를 실용적인 알고리즘으로 근사할 수 있는가?
• RQ5 기존의 줌인 및 비모수적 밴딧 접근법과 비교했을 때, 제안된 스무딩 프레임워크는 리그레트 보장과 확장성 측면에서 어떻게 다른가?

주요 결과

• 스무딩 리그레트의 최악의 경우 리그레트는 $ \Theta\left(\sqrt{T/h}\right) $ 이며, 이는 고정된 $ h $ 에 대해 최적의 비율을 유지한다. 연속성 가정 없이도 성립한다.
• 인스턴스에 의존하는 리그레트의 경우, bound는 $ O\left(\min_{\epsilon} T\epsilon + \theta_h(\epsilon)\right) $ 이며, 여기서 $ \theta_h(\epsilon) \leq 1/(h\epsilon) $ 이다. 이는 유리한 문제에서 성능 향상을 가능하게 한다.
• 모든 $ h \in (0,1] $ 에 대해 최적의 적응성을 달성하며, 리그레트는 $ \Theta\left(\sqrt{T}/h\right) $ 이며, 상수 인자 범위 내에서 하한선과 일치한다.
• 리프시츠 손실의 경우, 알고리즘은 $ \Theta\left(T^{2/3}\sqrt{L}\right) $ 리그레트를 달성하며, 이는 하한선과 일치하고 이전 결과를 향상시킨다.
• 고차원 설정에서 정책 줌인 계수 $ \psi_L(\epsilon) $ 는 $ O\left(\frac{L}{L_0} \cdot \frac{\sqrt{d}}{\epsilon}\right) $ 로 나타나며, 확장 가능한 성능을 가능하게 한다.
• 하한선을 확립하여, 어떤 적응 알고리즘도 $ \Omega(T^{2/3}\sqrt{L}) $ 보다 낮은 리그레트를 달성할 수 없음을 증명함으로써, 제안된 적응 알고리즘이 최적임을 입증한다.