[논문 리뷰] Online Stochastic Optimization under Correlated Bandit Feedback

Mohammad Gheshlaghi Azar, Alessandro Lazaric외 1명|arXiv (Cornell University)|2014. 02. 04.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 43

한 줄 요약

이 논문은 보상이 i.i.d.가 아닌 이력에 의존하는 상관관계가 있는 밴딧 피드백 환경에서 온라인 스토하스틱 최적화를 위한 High-Confidence Tree (HCT) 알고리즘을 제안한다. HCT는 비-i.i.d. 보상에 대해 농도 경계를 활용한 적응적이고 낙관적인 트리 기반 탐색 전략을 사용하며, 단계 수와 부드러움에 대한 의존성에서 최신 기법과 동일한 리그레트 한계를 달성한다. 이는 더 약한 부드러움 가정과 더 낮은 메모리 복잡도를 요구한다.

ABSTRACT

In this paper we consider the problem of online stochastic optimization of a locally smooth function under bandit feedback. We introduce the high-confidence tree (HCT) algorithm, a novel any-time $\mathcal{X}$-armed bandit algorithm, and derive regret bounds matching the performance of existing state-of-the-art in terms of dependency on number of steps and smoothness factor. The main advantage of HCT is that it handles the challenging case of correlated rewards, whereas existing methods require that the reward-generating process of each arm is an identically and independent distributed (iid) random process. HCT also improves on the state-of-the-art in terms of its memory requirement as well as requiring a weaker smoothness assumption on the mean-reward function in compare to the previous anytime algorithms. Finally, we discuss how HCT can be applied to the problem of policy search in reinforcement learning and we report preliminary empirical results.

연구 동기 및 목표

• 실제 응용 분야(예: 강화 학습 또는 적응형 시스템)에서 자주 발생하지만 i.i.d. 보상 가정을 하는 기존 X-armed 밴딧 알고리즘의 한계를 해결한다.
• 보상 결과가 이전 이력에 의존하는 상관관계가 있는 피드백을 처리할 수 있는 anytime 알고리즘을 개발하며, 강력한 이론적 성능 보장을 유지한다.
• 특히 고차원 또는 연속적인 액션 공간에서 기존 anytime 알고리즘에 비해 메모리와 계산 복잡도를 감소시킨다.
• 이전 방법이 최적 액션 주변의 강한 局부적 부드러움을 요구하는 데 비해, HCT는 최대 보상에 대해만 리프시츠 연속성만 요구하는 더 약한 부드러움 가정을 사용한다.
• 마르코프 결정 과정(MDPs)에서 정책 탐색에 적용 가능하며, 알려지지 않은 환경에서 강화 학습에 대한 유한 샘플 보장을 제공한다.

제안 방법

• HCT는 액션 공간 X 위에 이진 트리를 구성하며, 각 노드는 액션 영역을 나타내고 해당 영역 내 잠재적 최대 보상에 대한 상한 신뢰도를 유지한다.
• 알고리즘은 신뢰도 임계값 기반으로 노드를 점진적으로 확장한다: 노드의 추정 평균 보상이 충분히 정확할 때에만 확장되어 효율적인 탐색을 보장한다.
• 약한 정적성과 혼합 조건을 가정할 때 비-i.i.d. 에피소드 랜덤 변수에 대한 새로운 농도 부등식을 사용하여 추정 오차를 제한한다.
• 트리는 HOO와 유사하게 낙관적인 방식으로 구축되지만, 상관관계가 있는 피드백을 처리할 수 있도록 적응적으로 수정된다.
• 알고리즘은 당김 횟수와 분산 추정치에 기반해 상한 신뢰도가 높은 노드에서 탐색과 이용의 균형을 동적으로 조정한다.
• 공간 복잡도는 깊이 기반 노드 수 계산과 고확률 사건을 통해 제한되며, O(n^{d/(d+2)}(log n)^{2/(d+2)})의 메모리 사용량을 달성한다. 이는 대규모 문제에 유리한 비선형 복잡도이다.

실험 결과

연구 질문

• RQ1 상관관계가 있는 밴딧 피드백 환경에서 보상이 i.i.d.가 아닐 경우, anytime X-armed 밴딧 알고리즘이 비선형 리그레트를 달성할 수 있는가?
• RQ2 제안된 HCT 알고리즘이 상관관계가 있는 피드백을 처리함에도 불구하고, i.i.d. 기반 최신 기법과 비교해 유사한 리그레트 한계를 유지하는가?
• RQ3 이전 방법이 최적 액션 주변의 강한 국소 부드러움을 요구하는 데 비해, HCT는 최대 보상에 대해서만 리프시츠 연속성을 요구하는 더 약한 부드러움 가정을 충족하는가?
• RQ4 HCT의 메모리 및 시간 복잡도는 무엇이며, 기존 anytime 알고리즘과 비교해 확장성 면에서 어떻게 다른가?
• RQ5 HCT는 MDP의 연속 상태-액션 공간에서 정책 탐색에 효과적으로 적용될 수 있으며, 특히 알려지지 않은 환경에서 강화 학습에 대해 어떤 유한 샘플 보장을 제공하는가?

주요 결과

• HCT는 보상의 상관관계가 있더라도 단계 수 n과 근사 최적성 차원 d에 대한 의존성에서 최신 기법과 동일한 리그레트 한계를 달성한다.
• 알고리즘은 평균 보상 함수의 최대 값에 대한 리프시츠 연속성만 요구하며, 이는 이전 anytime 알고리즘에서 요구하는 더 강력한 국소 부드러움 가정보다 더 약한 조건이다.
• HCT의 공간 복잡도는 O(n^{d/(d+2)}(log n)^{2/(d+2)})이며, 이는 비선형이면서도 이전 anytime 알고리즘에 비해 더 뛰어난 메모리 효율성을 제공한다.
• 실행 시간 복잡도는 선형로그적(Linearithmic)이며, 이는 HCT가 대규모 및 스트리밍 데이터 응용에 적합함을 시사한다.
• 이론적 분석은 약한 정적성과 혼합 조건 하에서 비-i.i.i.d. 에피소드 과정에 대한 새로운 농도 부등식을 포함한다.
• 초기 실험 결과는 HCT가 MDP에서 정책 탐색에 있어 상관관계가 있는 피드백 환경에서 실용적 이점을 보여주며, 강화 학습 환경에서의 실용적 이점을 시사한다.