[논문 리뷰] Nonlinear stochastic multiarmed bandit problems with inexact oracle

Alexander Gasnikov, Ekaterina Krymova외 3명|arXiv (Cornell University)|2015. 09. 05.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 3

한 줄 요약

이 논문은 노이즈가 있는 함수 평가를 사용하여 볼록 및 강볼록 문제에 대한 제로스티 오더 스토하스틱 온라인 최적화 방법을 제안한다. 이는 불완전한 오라클을 다룰 수 있도록 미러 디센트를 일반화한 것으로, 유한한 노이즈 조건 하에서도 유효한 수렴 속도를 확립한다. 이로 인해 약간의 조건 하에서도 최적의 리그레트 한계를 달성하며, 노이즈 수준과 문제 차원에 명시적인 의존성을 보인다.

ABSTRACT

In the paper we consider one point and two point multiarmed bamdit problems. In other words we consider the online stochastic convex optimization problems with oracle that return the value (realization) of the function at one point or at two points. We allow these values to be inexact, but the level of noise should be small enough. We generalize well known results for inexact oracle case. And we also generalize classical results to prox-structures differ from euclidian.

연구 동기 및 목표

• 기울기 대신 함수 평가를 사용하는 제로스티 오더 온라인 최적화 방법을 개발한다.
• 유한한 노이즈(불완전한 오라클) 조건 하에서 이러한 방법의 수렴 속도를 분석한다.
• 성능이 크게 악화되는 임계 노이즈 수준을 규명한다.
• 단일점 및 이중점 피드백 메커니즘을 포함하여, 기능 값 피드백만을 사용하는 온라인 설정으로 미러 디센트를 일반화한다.
• 기존 알려진 하한선과 일치하는 이론적 보장을 확립하여 제안된 방법의 최적성을 입증한다.

제안 방법

• 기울기 추정치를 기능 값의 차이로 대체하는 수정된 미러 디센트 프레임워크를 사용한다 (제로스티 오더 근사).
• 일점 피드백 대비 정확도를 향상시키기 위해 이중점 피드백 메커니즘을 적용한다.
• 수렴 보장을 유지하면서 노이즈가 있는 기능 평가를 처리하기 위해 스무딩 기법을 도입한다.
• 기대 기울기 오차가 상수 δ 이하로 제한된다는 가정 하에 수렴 한계를 유도한다 (불완전한 오라클 조건).
• 볼凸 및 강볼凸 설정 모두에 적용하여 각각 다른 수렴 속도를 유도한다.
• 탐색과 수렴의 균형을 이루기 위해 신중하게 조정된 스텝 사이즈 스케줄을 사용하여 최적의 리그레트 한계를 확보한다.

실험 결과

연구 질문

• RQ1 유한한 노이즈 조건 하에서 불완전한 오라클 조건이 존재하는 제로스티 오더 온라인 최적화의 최적 수렴 속도는 무엇인가?
• RQ2 리그레트 한계 측면에서 일점 피드백 대비 이중점 피드백의 성능은 어떻게 비교되는가?
• RQ3 수렴 속도에 있어 노이즈가 무시할 수 있을 정도의 노이즈 수준은 어느 정도인가?
• RQ4 기능 값 피드백만을 사용하는 온라인 설정으로서 미러 디센트를 효과적으로 일반화할 수 있는가?
• RQ5 제안된 방법이 알려진 정보 이론적 하한선과 일치하여 최적성임을 입증할 수 있는가?

주요 결과

• 일점 피드백 케이스에서 제안된 방법은 O(√(ln n / N)) 수준의 리그레트 한계를 달성하며, 로그 인자 외에는 알려진 하한선과 일치한다.
• 이중점 피드백 케이스에서는 리그레트 한계가 O(ln n / N)로 향상되어 추가 기능 평가의 이점이 입증된다.
• 함수 평가가 유한한 노이즈 δ로 오염되어도 방법은 여전히 효과적이며, 수렴 속도는 δ에 대해 제어 가능한 방식으로 의존한다.
• 강볼凸 케이스에서는 리그레트 한계가 O(1/N)로 향상되어 선형 수렴 속도를 나타낸다.
• 이론적 분석을 통해 방법이 정보 이론적 복잡도 측면에서 최적이며, 이전 연구에서 알려진 하한선과 일치함을 확인한다.
• 결과적으로 노이즈 수준 δ 이하에서는 수렴 속도에 큰 영향을 주지 않으며, 성능이 악화되는 임계 수준을 규명한다.