[논문 리뷰] Gradient Ascent for Active Exploration in Bandit Problems

Pierre Ménard|arXiv (Cornell University)|2019. 05. 20.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 10

한 줄 요약

이 논문은 고정신뢰도 설정에서 밴딧 문제의 능동 탐색을 위한 계산적으로 효율적인 경사상승 알고리즘을 제안한다. 온라인 게으른 미러 상승을 사용하여 최적의 샘플링 비율을 근사함으로써, 각 단계에서 볼록 최적화 문제를 정확히 해결하는 것에 비해 상당히 낮은 계산 비용으로 渐近적 최적성을 달성한다.

ABSTRACT

We present a new algorithm based on an gradient ascent for a general Active Exploration bandit problem in the fixed confidence setting. This problem encompasses several well studied problems such that the Best Arm Identification or Thresholding Bandits. It consists of a new sampling rule based on an online lazy mirror ascent. We prove that this algorithm is asymptotically optimal and, most importantly, computationally efficient.

연구 동기 및 목표

• 각 단계에서 복잡한 볼록 최적화 문제를 해결해야 하는 기존 능동 탐색 알고리즘의 계산 비효율성을 해결하기 위해.
• 정확한 최적화 문제 해결 없이도 반복마다 최적의 추출 비율에 渐近적으로 수렴하는 샘플링 규칙을 개발하기 위해.
• 경사상승을 통한 온라인 볼록 최적화와 능동 탐색 문제를 융합하여 효율성을 향상시키기 위해.
• 고정신뢰도 설정 하에서 제안된 알고리즘의 渐近적 최적성을 증명하기 위해.
• 베스트 암 식별 및 임계값 밴딧을 포함한 다양한 능동 탐색 밴딧 문제에 광범위하게 적용 가능함을 보여주기 위해.

제안 방법

• 알고리즘은 온라인 게으른 미러 상승을 사용하여 암들 사이의 샘플링 분포를 반복적으로 업데이트한다.
• 각 단계에서 목적 함수의 하부기울기만 계산되며, 볼록 최적화 문제의 전체 해를 구하는 것을 피한다.
• 진짜 매개변수의 추정치를 유지하고 이를 기반으로 이중 목적 함수에 대한 경사상승을 통해 샘플링를 안내한다.
• 샘플링 규칙은 이중 최적화 문제의 해에서 유도되며, 실시간으로 경사 단계를 사용해 근사한다.
• 이 방법은 상호배타적이고 열려 있으며 볼록인 관심 영역을 가진 임의의 능동 탐색 밴딧 문제에 적용 가능한 일반적인 접근법이다.
• 알고리즘은 정확도가 $1 - \delta$ 이상인 확률로 정지 기준이 고정신뢰도 조건을 만족하도록 보장한다.

실험 결과

연구 질문

• RQ1 계산적으로 효율적인 알고리즘이 고정신뢰도 능동 탐색 밴딧 문제에서 渐近적 최적성을 달성할 수 있는가?
• RQ2 각 단계에서 볼록 최적화 문제를 해결하지 않고도 온라인 경사상승을 어떻게 사용해 최적의 샘플링 비율을 근사할 수 있는가?
• RQ3 정확한 해 대신 하부기울기를 사용할 경우 능동 탐색 알고리즘의 渐近적 성능에 어떤 영향을 미치는가?
• RQ4 어떤 밴딧 문제의 범주에서 제안된 방법이 증명적으로 최적이고 효율적인가?
• RQ5 샘플 복잡도와 계산 비용 측면에서 기존 방법과 비교해 알고리즘의 성능은 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 샘플 복잡도의 인스턴스에 의존하는 하한선에 정확히 부합하는 渐近적 최적성을 확보한다.
• 각 단계에서 정확한 최적화를 하부기울기 계산으로 대체함으로써 계산 비용이 상당히 감소한다.
• 기대 샘플 크기가 정보이론적 하한선에 수렴함에 따라 $\mathbb{P}_{\mu}(\widehat{i} \neq i(\mu)) \leq \delta$ 를 달성한다.
• 수치 실험 결과, 알고리즘이 경쟁자 대비 샘플 효율성과 런타임 측면에서 뛰어난 성능을 보였다.
• 부록에 제시된 반례를 통해 일부 문제 설정에서 유계가 아닌 하부기울기 존재하더라도 알고리즘이 강건함을 입증했다.
• 약한 정규성 조건 하에서 경험적 샘플링 비율이 최적 비율로 수렴함이 입증되었다.