[논문 리뷰] Best arm identification in multi-armed bandits with delayed feedback

Aditya Grover, Todor Markov외 9명|arXiv (Cornell University)|2018. 03. 31.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 완전한 피드백이 도착하기 이전에 도착하는 부분 피드백을 활용하여 지연 피드백이 있는 스토하스틱 다익음 벨런스에서 최적의 암 식별을 위한 프레임워크를 제안한다. 편향이 있거나 없는 부분 피드백 추정기의 특성을 활용하는 효율적인 알고리즘을 제안하고, 병렬 벨런스 설정으로 확장하여 실세계 응용 분야인 하이퍼파ram터 튜닝과 정책 탐색에서 기존 기준보다 뚜렷한 성능 향상을 보여준다.

ABSTRACT

We propose a generalization of the best arm identification problem in stochastic multi-armed bandits (MAB) to the setting where every pull of an arm is associated with delayed feedback. The delay in feedback increases the effective sample complexity of standard algorithms, but can be offset if we have access to partial feedback received before a pull is completed. We propose a general framework to model the relationship between partial and delayed feedback, and as a special case we introduce efficient algorithms for settings where the partial feedback are biased or unbiased estimators of the delayed feedback. Additionally, we propose a novel extension of the algorithms to the parallel MAB setting where an agent can control a batch of arms. Our experiments in real-world settings, involving policy search and hyperparameter optimization in computational sustainability domains for fast charging of batteries and wildlife corridor construction, demonstrate that exploiting the structure of partial feedback can lead to significant improvements over baselines in both sequential and parallel MAB.

연구 동기 및 목표

• 지연 피드백으로 인해 증가하는 최적의 암 식별의 표본 복잡도 문제를 해결하기 위해.
• 부분 피드백(조기 도착)과 지연된 완전한 피드백(후속 도착) 간의 관계를 일반적이고 분석 가능한 방식으로 모델링하기 위해.
• 편향이 있거나 없는 부분 피드백 추정기를 활용하여 표본 효율성을 향상시키는 효율적인 알고리즘을 개발하기 위해.
• 여러 암을 동시에 뽑을 수 있는 병렬 다익음 벨런스 설정으로 제안된 프레임워크를 확장하기 위해.
• 실세계 컴퓨팅 지속 가능성 응용 분야에서 하이퍼파ram터 최적화 및 정책 탐색을 포함하여 접근법을 실증적으로 검증하기 위해.

제안 방법

• 다익음 벨런스에서 부분 피드백과 지연된 완전한 피드백 간의 시간적 관계를 포괄하는 일반적인 피드백 모델을 제안한다.
• 부분 피드백을 보조 관측치로 활용하여 효과적 표본 복잡도를 감소시키는 새로운 알고리즘 프레임워크를 도입한다.
• 실제 암 보상의 추정치로 부분 피드백이 편향 없이 또는 편향이 있는 추정기로 작용하는 설정에 대해 구체적인 알고리즘을 설계한다.
• 핵심 알고리즘을 병렬 벨런스 설정에 적응시켜 이론적 보장을 유지하면서 동시에 병행된 암 뽑기를 가능하게 한다.
• 정확한 최적의 암 식별을 보장하기 위해 부분 피드백과 지연 피드백을 모두 고려한 신뢰 구간과 샘플링 규칙을 사용한다.
• 지연 피드백에서 부분 피드백을 활용한 상황에서 표본 복잡도를 극복하기 위한 통합 분석 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 완전한 피드백이 도착하기 이전에 도착하는 부분 피드백을 어떻게 활용하여 지연 피드백이 있는 상황에서 최적의 암 식별의 표본 복잡도를 줄일 수 있는가?
• RQ2 지연 피드백 벨런스 설정에서 편향이 있는 것과 없는 부분 피드백 추정기의 이론적 및 실증적 이점은 무엇인가?
• RQ3 제안된 프레임워크는 동시에 여러 암을 뽑을 수 있는 병렬 다익음 벨런스 설정으로 확장될 수 있는가?
• RQ4 실세계 응용 분야에서 표본 효율성과 수렴 속도 측면에서 제안된 방법이 표준 기준 대비 어떻게 성능을 냈는가?
• RQ5 실제 분야인 하이퍼파aram터 튜닝과 정책 탐색에서 최적의 암 식별 알고리즘의 성능에 피드백 구조가 미치는 영향은 무엇인가?

주요 결과

• 편향이 있는 부분 피드백조차도 활용함으로써 제안된 프레임워크는 효과적 표본 복잡도를 크게 감소시킨다.
• 부분 피드백을 활용하는 알고리즘은 순차적 및 병렬 다익음 벨런스 설정 모두에서 표준 기준 대비 뛰어난 성능을 보인다.
• 빠른 배터리 충전 및 야생 서식지 통로 설계와 같은 실세계 응용 분야에서 더 빠른 수렴과 향상된 표본 효율성을 달성한다.
• 편향이 없는 부분 피드백 추정기를 사용할 경우 더 좁은 신뢰 구간과 향상된 식별 정확도를 얻을 수 있다.
• 알고리즘의 병렬 확장은 이론적 보장을 유지하면서 동시에 블록 기반 탐색을 가능하게 하여 확장 가능한 하이퍼파aram터 최적화에 매우 중요하다.
• 실증 결과는 피드백 구조—특히 부분 피드백의 도착 시점과 품질—가 알고리즘 성능에 상당한 영향을 미친다는 것을 보여준다.