[논문 리뷰] Contextual bandits with surrogate losses: Margin bounds and efficient algorithms

Dylan J. Foster, Akshay Krishnamurthy|arXiv (Cornell University)|2018. 06. 28.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 서브스티튜트 손실(특히 램프 손실과 허지 손실)을 사용하여 마진 기반의 오차 한계와 효율적인 알고리즘을 유도하는 새로운 프레임워크를 제안한다. 이는 d차원 공간에서 리프시츠 조건을 만족하는 컨텍스트 밴딧에 대해 새로운 $\tilde{O}(T^{d/(d+1)})$ 오차 한계를 확립하고, 곡률 가정 없이도 $\tilde{O}(\sqrt{dT})$ 오류 한계를 갖는 첫 번째 효율적인 알고리즘인 Hinge-LMC를 제시한다.

ABSTRACT

We use surrogate losses to obtain several new regret bounds and new algorithms for contextual bandit learning. Using the ramp loss, we derive new margin-based regret bounds in terms of standard sequential complexity measures of a benchmark class of real-valued regression functions. Using the hinge loss, we derive an efficient algorithm with a $\sqrt{dT}$-type mistake bound against benchmark policies induced by $d$-dimensional regressors. Under realizability assumptions, our results also yield classical regret bounds.

연구 동기 및 목표

• 부분 피드백이 존재하는 컨텍스트 밴딧 설정으로, 감독 학습에서 일반적으로 사용되는 마진 기반 일반화 이론을 확장한다.
• 특히 허지 손실을 활용한 볼록 서브스티튜트 손실을 사용하여, 컨텍스트 밴딧에 대한 계산적으로 효율적인 알고리즘을 개발한다.
• 지표 이론적 오차 한계를 도출하기 위해 순차적 복잡도 측도(예: 거리 엔트로피 및 라데마처 복잡도)를 기반으로 한다.
• 곡률 가정 없이도 $\sqrt{dT}$ 유형의 오류 한계를 갖는 첫 번째 효율적 알고리즘을 제공함으로써, 밴딧 다중분류 예측 분야의 열린 문제를 해결한다.
• 적응형 최대최소 분석과 체이닝 추론을 활용하여, 리프시츠 및 부드러운 반바나흐 공간 설정에서 기존의 오차 한계를 향상시킨다.

제안 방법

• 기준 클래스의 실수값 회귀 함수의 순차적 거리 엔트로피를 바탕으로, 램프 손실을 사용하여 마진 기반의 오차 한계를 도출한다.
• Foster 등(2015)의 적응형 최대최소 프레임워크에 '적응형' 체이닝 추론을 결합하여, 악성 컨텍스트 밴딧에서의 부분 피드백을 다룬다.
• 지표 손실의 서브스티튜트를 기반으로 한 구조적 액션 선택 방식과 함께, 지수 가중치와 랭그비안 몬테카를로를 사용하는 Hinge-LMC 알고리즘을 제안한다.
• 부드러운 보정을 가진 FTL의 변형인 SmoothFTL을 제안하며, 리프시츠 컨텍스트 밴딧 설정에서 정보 이론적 한계에 근접한 $\tilde{O}((KT)^{p/(p+1)})$ 오차 한계를 달성한다.
• 부분 피드백에서 손실 추정치를 비편향으로 만드는 데 중요도 가중치를 활용하여, 밴딧 피드백 환경에서의 안정적 최적화를 가능하게 한다.
• 탐색과 이용의 상호보완적 균형을 위해 적응형 에포크 길이와 정규화를 사용하며, 매개변수 $\mu$를 통해 보정과 오차의 정도를 제어한다.

실험 결과

연구 질문

• RQ1 감독 학습에서 널리 쓰이는 마진 기반 일반화 한계가 부분 피드백이 존재하는 컨텍스트 밴딧 설정으로 확장될 수 있는가?
• RQ2 실현 가능성 조건 하에서 d차원 회귀 함수에 의해 유도되는 기준 정책이 존재할 때, 컨텍스트 밴딧의 최적 오차는 무엇인가?
• RQ3 볼록 서브스티튜트 손실을 사용하여, 곡률 가정 없이도 $\sqrt{dT}$ 유형의 오류 한계를 갖는 효율적 알고리즘을 설계할 수 있는가?
• RQ4 순차적 복잡도 측도(예: 거리 엔트로피 및 라데마처 복잡도)는 악성 컨텍스트 밴딧에서 오차를 어떻게 기술하는가?
• RQ5 비구성적 최대최소 분석의 이론적 보장을 부분 피드백 설정에서 알고리즘적으로 효과적으로 만들 수 있는가?

주요 결과

• 논문은 d차원 거리 공간에서 리프시츠 컨텍스트 밴딧에 대해 새로운 $\tilde{O}(T^{d/(d+1)})$ 오차 한계를 확립하였으며, Cesa-Bianchi 등(2017)의 이전 결과인 $\tilde{O}(T^{(d+1)/(d+2)})$ 보다 향상된 결과를 도출하였다.
• 부드러운 반바나흐 공간에서의 밴딧 다중분류 예측에 대해, 논문은 $\tilde{O}(T^{2/3})$ 오류 한계를 달성하였으며, Kakade 등(2008)의 결과를 밴딧 설정으로 확장하였다.
• Hinge-LMC는 곡률 가정 없이도 서브스티튜트 손실을 사용하여 밴딧 다중분류 예측에서 $\sqrt{dT}$ 유형의 오류 한계를 갖는 첫 번째 효율적 알고리즘이다.
• SmoothFTL는 리프시츠 컨텍스트 밴딧 설정에서 $\tilde{O}((KT)^{p/(p+1)})$ 오차 한계를 달성하였으며, 여기서 $p$는 컨텍스트 공간의 커버링 차원이다.
• 분석 결과, $\tilde{O}(T^{p/(p+1)})$ 오차 한계는 동일한 설정에서 Cesa-Bianchi 등(2017)의 $\tilde{O}(T^{(p+1)/(p+2)})$ 결과보다 향상됨을 보여주었다.
• 이 프레임워크는 거리 액션 공간 설정으로 일반화 가능하며, 액션 공간의 커버링 차원이 $p_{\mathcal{A}}$일 경우 $\tilde{O}(T^{(p + p_{\mathcal{A}}p)/(p + p_{\mathcal{A}}p + 1)})$의 오차 한계를 도출한다.