[논문 리뷰] Regret Analysis for Continuous Dueling Bandit

Wataru Kumagai|arXiv (Cornell University)|2017. 11. 21.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 7

한 줄 요약

이 논문은 소음이 있는 쌍별 비교가 가능한 연속적인 듀얼링 밴디트 문제를 위한 확률적 미러 강하 알고리즘을 제안하며, 강한 볼록성과 미세 조정 조건 하에서 $O(\sqrt{T\log T})$의 리그레트 한계를 달성한다. 듀얼링 밴디트에서의 리그레트 최소화와 볼록 최적화 사이의 등가성을 확립하여, 두 설정 모두에서 거의 최적의 수렴 속도를 달성함을 보여주며, 로그 인자 외에는 최적이다.

ABSTRACT

The dueling bandit is a learning framework wherein the feedback information in the learning process is restricted to a noisy comparison between a pair of actions. In this research, we address a dueling bandit problem based on a cost function over a continuous space. We propose a stochastic mirror descent algorithm and show that the algorithm achieves an $O(\sqrt{T\log T})$-regret bound under strong convexity and smoothness assumptions for the cost function. Subsequently, we clarify the equivalence between regret minimization in dueling bandit and convex optimization for the cost function. Moreover, when considering a lower bound in convex optimization, our algorithm is shown to achieve the optimal convergence rate in convex optimization and the optimal regret in dueling bandit except for a logarithmic factor.

연구 동기 및 목표

• 단순한 쌍별 비교 피드백만 제공되는 연속적 행동 공간에서의 듀얼링 밴디트 문제를 다루는 것.
• 비용 함수의 강한 볼록성과 미세 조정 조건 하에서 낮은 리그레트를 달성하는 알고리즘을 개발하는 것.
• 소음이 있는 비교 하에서 듀얼링 밴디트에서의 리그레트 최소화와 볼록 최적화 사이의 이론적 등가성을 명확히 하는 것.
• 엄밀한 리그레트 및 수렴 속도 한계를 확립하여 제안된 방법의 거의 최적성을 보여주는 것.
• 소음 있는 피드백 하에서 듀얼링 밴디트 학습과 함수 최적화 간 격차를 메우는 것.

제안 방법

• 소음 있는 비교 피드백를 갖는 연속적 듀얼링 밴디트에 특화된 새로운 확률적 미러 강하(NC-SMD) 알고리즘을 제안한다.
• 비용 함수 $f$와 링크 함수 $\sigma$를 사용하여 쌍별 선호도를 모델링하며, $P(a \succ a') = \sigma(f(a') - f(a))$로 표현한다.
• 연속적 행동 공간을 효율적으로 처리하기 위해 미러 강하 프레임워크 내에서 자기조화(barrier) 함수를 활용한다.
• 비용 함수 $f$의 강한 볼록성과 미세 조정 조건, 링크 함수 $\sigma$의 미세 조정 조건을 바탕으로 리그레트 한계를 유도한다.
• 피드백 메커니즘의 변환을 통해 듀얼링 밴디트 리그레트와 볼록 최적화 오차 사이의 등가성을 확립한다.
• 소음 있는 함수 최적화에서의 하한값(Shamir, 2013)을 활용하여 알고리즘의 수렴 속도가 거의 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 확률적 미러 강하 알고리즘이 쌍별 비교 피드백만 존재하는 연속적 듀얼링 밴디트에서 비선형 리그레트 한계를 달성할 수 있는가?
• RQ2 소음 있는 비교 하에서 듀얼링 밴디트에서의 리그레트 최소화와 볼록 최적화 사이에 근본적인 등가성이 존재하는가?
• RQ3 제안된 알고리즘이 듀얼링 밴디트 및 볼록 최적화 프레임워크 양쪽 모두에서 거의 최적의 수렴 속도를 달성하는가?
• RQ4 소음 있는 피드백 하에서의 이론적 하한값과 비교해 볼 때 알고리즘의 성능는 어떻게 되는가?
• RQ5 강한 볼록성과 미세 조정 조건 하에서 $O(\sqrt{T\log T})$를 초과하는 리그레트 한계를 향상시킬 수 있는가?

주요 결과

• 제안된 NC-SMD 알고리즘은 비용 함수의 강한 볼록성과 미세 조정 조건 하에서 $O(\sqrt{T\log T})$의 리그레트 한계를 달성한다.
• 듀얼링 밴디트에서의 리그레트는 소음 있는 비교 하에서 볼록 함수 최적화의 최적화 오차와 이론적으로 등가하다.
• 함수 최적화에서 알고리즘의 수렴 속도인 $O(\sqrt{\log T / T})$는 거의 최적이며, 알려진 하한값과 로그 인자 외에는 일치한다.
• 기대 최적화 오차에 대한 하한값 $\Omega(\min\{1, d/\sqrt{T}\})$을 도출하여, 알고리즘의 성능가 거의 최적임을 보여준다.
• 알고리즘은 리그레트에서 로그 인자 외에는 최적의 성능를 보이며, 듀얼링 밴디트 및 볼록 최적화 설정 모두에서 최적의 성능를 달성한다.
• 분석 결과, 적절한 소음 가정 하에서 일비트 비교 피드백도 전체 소음 있는 함수 피드백와 거의 동일한 수렴 속도를 유지할 수 있음을 보여준다.