[논문 리뷰] Fully adaptive algorithm for pure exploration in linear bandits

Liyuan Xu, Junya Honda외 1명|arXiv (Cornell University)|2017. 10. 16.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 18

한 줄 요약

이 논문은 순수 탐색을 위한 선형 밴디트에서 처음으로 완전히 적응형 알고리즘인 LinGapE를 제안하며, 과거 관측 결과에 기반해 암을 동적으로 선택하여 샘플 복잡도를 최소화한다. 극단적인 경우에 이 알고리즘이 이론적 하한선에 상수 인자까지 일치하는 샘플 복잡도를 달성하며, 합성 및 실제 실험에서 기존의 정적 또는 부분적으로 적응형 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We propose the first fully-adaptive algorithm for pure exploration in linear bandits---the task to find the arm with the largest expected reward, which depends on an unknown parameter linearly. While existing methods partially or entirely fix sequences of arm selections before observing rewards, our method adaptively changes the arm selection strategy based on past observations at each round. We show our sample complexity matches the achievable lower bound up to a constant factor in an extreme case. Furthermore, we evaluate the performance of the methods by simulations based on both synthetic setting and real-world data, in which our method shows vast improvement over existing methods.

연구 동기 및 목표

• 기존 선형 밴디트 알고리즘이 암 선택 순서를 사전에 고정함으로써 샘플 효율성이 열악한 점을 해결하기 위해.
• 모든 과거 관측 결과에 기반해 암 선택을 동적으로 조정하는 완전히 적응형 알고리즘을 개발하여 샘플 복잡도를 향상시키기 위해.
• 제안된 알고리즘의 샘플 복잡도가 극단적인 경우 정보 이론적 하한선에 상수 인자까지 일치함을 이론적으로 증명하기 위해.
• 기존 방법, 즉 정적 및 부분적으로 적응형 전략을 포함한 방법들과의 비교를 통해 알고리즘의 우수성을 합성 및 실제 세계 설정에서 실증적으로 검증하기 위해.

제안 방법

• 모든 과거 관측 결과에 기반해 각 라운드에서 암을 선택하는 완전히 적응형 알고리즘인 LinGapE를 제안하며, 사전에 고정된 암 선택 순서를 피한다.
• 적응형 전략에서 흔히 발생하는 $\sqrt{d}$의 느슨함을 피하는 새로운 신뢰구간 구성 기법을 사용하여 더 날카운 샘플 복잡도 한계를 가능하게 한다.
• 최적의 암 근처에 집중해 샘플링을 수행하는 갭 기반 탐색 전략을 활용하여 불필요한 추출을 줄인다.
• 정보 행렬의 행렬식 기반 분석을 도입해 신뢰구간 길이를 제한함으로써 이론적 샘플 복잡도 한계를 향상시킨다.
• 고정된 예산 설정을 위한 UGapE에서 유래한 기법을 적응하여, 향후 이러한 상황으로의 확장 가능성을 제안한다.
• 실제 실험에서 매개변수 추정을 위해 $\lambda = 0.01$을 사용한 정규화 최소 제곱 추정법을 적용한다.

실험 결과

연구 질문

• RQ1 선형 밴디트에서 순수 탐색을 위한 완전히 적응형 알고리즘이 정보 이론적 하한선에 근접한 샘플 복잡도를 달성할 수 있는가?
• RQ2 과거 관측 결과에 기반한 적응형 암 선택 전략이 정적 또는 부분적으로 적응형 전략에 비해 샘플 효율성에서 어떻게 비교되는가?
• RQ3 근접한 최적의 암을 구분하기 위해 매개변수 추정 정확도를 향상시키기 위해 하위 최적의 암을 선택하는 것이 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 합성 및 실제 세계의 선형 밴디트 설정 모두에서 기존 방법을 능가할 수 있는가?
• RQ5 차원 수와 암의 수가 증가함에 따라 알고리즘의 성능은 어떻게 변화하는가?

주요 결과

• 극단적인 경우, 즉 모든 암이 거의 최적일 때, LinGapE는 이론적 하한선(즉, $\mathcal{XY}$-오라클 기반)에 상수 인자까지 일치하는 샘플 복잡도를 달성한다.
• 합성 설정에서 $K = d = 5$ 이고 $\Delta \to 0$ 인 경우, LinGapE는 $\mathcal{XY}$-정적 할당보다 훨씬 적은 샘플 수가 필요하며, $\Delta$가 감소할수록 성능 격차가 커진다.
• Yahoo! Webscope R6A 데이터셋에서, LinGapE는 $\mathcal{XY}$-정적 할당 대비 약 5배 적은 샘플 수를 요구하였다.
• 알고리즘이 과거 샘플을 기각할 필요가 없기 때문에 $\mathcal{XY}$-적응형 할당보다 우수한 실증 성능을 보였다.
• 암의 수가 증가할수록 성능 향상이 가장 두드러지며, 이는 LinGapE가 모든 암을 균일하게 추정하는 대신 가장 관련성이 높은 암에 집중하기 때문이다.
• 이론적 샘플 복잡도 한계는 분석 과정에서 행렬식 평가가 느슨하기 때문에 여전히 느슨한 편으로 나타나, 더 날카운 한계를 통해 향상 가능성이 있음을 시사한다.