[논문 리뷰] First-order regret bounds for combinatorial semi-bandits

Gergely Neu|arXiv (Cornell University)|2015. 02. 23.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 14

한 줄 요약

이 논문은 조합적 반-밴딧 온라인 학습을 위한 새로운 알고리즘인 FPL-TrIX를 소개한다. 이 알고리즘은 최적의 고정된 행동의 총 손실인 $L_T^*$에 대해 일계수 회귀 한계가 $ widetilde{ mathcal{O}}( sqrt{L_T^*})$로 스케일링되며, 부분 피드백 환경에서 표준 $ widetilde{ mathcal{O}}( sqrt{T})$ 회귀 한계를 초월한다. 이는 절단된 지수 분포 편향과 적응형 편향 및 탐색을 조합함으로써 달성된다.

ABSTRACT

We consider the problem of online combinatorial optimization under semi-bandit feedback, where a learner has to repeatedly pick actions from a combinatorial decision set in order to minimize the total losses associated with its decisions. After making each decision, the learner observes the losses associated with its action, but not other losses. For this problem, there are several learning algorithms that guarantee that the learner's expected regret grows as $\widetilde{O}(\sqrt{T})$ with the number of rounds $T$. In this paper, we propose an algorithm that improves this scaling to $\widetilde{O}(\sqrt{L_T^*})$, where $L_T^*$ is the total loss of the best action. Our algorithm is among the first to achieve such guarantees in a partial-feedback scheme, and the first one to do so in a combinatorial setting.

연구 동기 및 목표

• 최적의 손실 $L_T^*$에 대해 일계수 스케일링을 달성함으로써 조합적 반-밴딧 문제의 회귀 한계 간극을 메우는 것.
• 관측된 손실이 선택된 행동의 손실만 제공되는 부분 피드백 환경에서 저회귀를 유지하면서 계산 효율성이 높은 알고리즘을 개발하는 것.
• 이전에는 전체 정보 또는 비조합적 환경에서만 알려진 일계수 회귀 보장을, 더 도전적인 조합적 반-밴딧 프레임워크로 확장하는 것.
• 저손실 영역에서 회귀 성능을 향상시키는 데 기여하는 적응형 탐색 및 편향 메커니즘의 이론적 기반을 제공하는 것.

제안 방법

• 편향 제어와 편향을 줄이기 위해 절단된 지수 분포 편향을 사용하는 Follow-the-Perturbed-Leader(FPL) 기반의 FPL-TrIX 알고리즘을 제안한다.
• 관측된 손실과 추정치에 대한 신뢰도에 따라 동적으로 탐색을 조정하는 적응형 편향 파라미터 $\gamma_t$를 도입한다.
• 추정 오차를 제한하고 고분산 상황에서의 안정성을 확보하기 위해 손실 추정치 $\widehat{\ell}_{t,i}$를 절단하는 방법을 사용한다.
• 절단으로 인한 편향를 보정하기 위해 $\widetilde{q}_{t,i}$를 통한 재가중 기법을 적용하여 기대 손실 추정의 일致성을 확보한다.
• 편향과 신뢰도 한계에 관한 레미마를 활용하여 추정 손실의 두 번째 모멘트와 추정기의 편향을 제한하는 새로운 분석 프레임워크를 적용한다.
• 집중 부등식을 조합하고 추정 손실과 진짜 손실 간의 기대값 편차를 제한함으로써 회귀 한계를 유도한다.

실험 결과

연구 질문

• RQ1 이전에는 전체 정보 또는 비조합적 환경에서만 알려진 일계수 회귀 한계를 조합적 반-밴딧 문제로 확장할 수 있는가?
• RQ2 최적의 손실 $L_T^*$에 대한 사전 지식 없이도 적응형 탐색 및 편향 제어가 저손실 영역에서의 회귀 성능을 어떻게 향상시킬 수 있는가?
• RQ3 부분 피드백 환경에서 조합적 설정에서 일계수 회귀를 달성하기 위해 FPL에 어떤 수정이 필요한가?
• RQ4 반-밴딧 피드백 환경에서 $\widetilde{\mathcal{O}}(\sqrt{L_T^*})$의 회귀 성능을 유지하면서도 계산 효율성을 확보할 수 있는가?

주요 결과

• 제안된 FPL-TrIX 알고리즘은 $\widetilde{\mathcal{O}}(\sqrt{L_T^*})$의 일계수 회귀 한계를 달성하며, 표준 $\widetilde{\mathcal{O}}(\sqrt{T})$ 스케일링을 초월한다.
• 절단된 편향과 적응형 편향을 사용함으로써 계산 효율성을 유지하며, 전체 탐색이나 복잡한 최적화가 필요 없도록 한다.
• 이론적 분석을 통해 절단으로 인한 편향와 재가중 기법으로 인한 편향가 유한하고 제어 가능함을 입증하여 최적 행동 수렴을 보장한다.
• 레미마를 통해 추정 손실의 두 번째 모멘트가 $m\sum_j \widehat{\ell}_{t,j}$ 이하로 제한됨을 보이며, 이는 회귀 성장 제어에 핵심적이다.
• 추정 손실의 편향가 최대 $\left(\gamma_t + \beta_t d\right)\sum_j \widehat{\ell}_{t,j}$ 이하로 제한됨을 입증하였으며, 이는 파rameter 조정을 통해 제어할 수 있다.
• 이 방법은 악성 환경에 대해 강건하며, $L_T^*$의 지식이 있으면서 약간의 수정만으로 고확률 한계로 확장할 수 있다.