[논문 리뷰] Bandit Theory meets Compressed Sensing for high dimensional Stochastic Linear Bandit

Alexandra Carpentier, Rémi Munos|arXiv (Cornell University)|2012. 05. 18.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 76

한 줄 요약

이 논문은 희소 파rameter를 가진 고차원 스토하스틱 선형 밴디트 문제를 위한 새로운 알고리즘인 SL-UCB를 제안한다. 압축 감지 기법을 활용한 지지 집합 식별과 압축된 부분공간에서의 선형 밴디트 방법을 조합함으로써, 차원 $K$ 대신 희소성 $S$에 비례하는 $O(S\sqrt{n})$의 리그레트 한계를 달성한다. 이는 $n \ll K$일 경우 효율적인 학습을 가능하게 한다. 본 방법은 기울기 상승을 통한 고차원 함수 최적화에서 검증되었다.

ABSTRACT

We consider a linear stochastic bandit problem where the dimension $K$ of the unknown parameter $\ heta$ is larger than the sampling budget $n$. In such cases, it is in general impossible to derive sub-linear regret bounds since usual linear bandit algorithms have a regret in $O(K\\sqrt{n})$. In this paper we assume that $\ heta$ is $S-$sparse, i.e. has at most $S-$non-zero components, and that the space of arms is the unit ball for the $||.||_2$ norm. We combine ideas from Compressed Sensing and Bandit Theory and derive algorithms with regret bounds in $O(S\\sqrt{n})$.

연구 동기 및 목표

• 라운드 수 $n$이 매개변수 차원 $K$에 비해 훨씬 작은 고차원 스토하스틱 선형 밴디트 문제에 대한 도전 과제를 해결하기 위해.
• 알 수 없는 매개변수 $\theta$가 $S$-희소임을 가정함으로써 고차원 환경에서의 하위선형 리그레트 달성.
• 압축 감지 원리에 기반해 $\theta$의 관련 좌표를 효율적으로 식별하는 알고리즘 설계.
• 최적의 리그레트 성능을 위해 지지 집합 추정과 선형 밴디트 방법을 통한 적응적 이용을 조합하기 위해.

제안 방법

• 알고리즘은 이중 단계 접근 방식을 사용한다: 먼저, 희소 매개변수 $\theta$의 지지 집합을 식별하기 위한 압축 감지 기반 탐색 단계.
• 지지 집합 탐색 단계에서는 단위 $\ell_2$-볼의 암호에서 유래한 무작위 등방향 투영(암호)을 사용하여 노이즈가 섞인 내적 측정값 $r_t = \langle x_t, \theta + \eta_t \rangle$를 수집한다.
• 수집된 측정값에서 하드 히어링 또는 정규화 방법을 적용하여 $\theta$의 지지 집합을 추정한다.
• 지지 집합이 추정된 후, 추정된 부분공간에 제한된 선형 밴디트 정책(UCB 스타일)으로 전환하여 이용 단계를 수행한다.
• 리그레트 분석은 농도 부등식(예: 아즈마 부등식)과 지지 집합 및 매개변수 추정 오차의 경계를 사용한다.
• 최종 리그레트 한계는 지지 집합 추정 오차와 $S$-차원 부분공간에서의 선형 밴디트 리그레트를 조합하여 유도된다.

실험 결과

연구 질문

• RQ1 라운드 수 $n$이 매개변수 차원 $K$에 비해 훨씬 작은 고차원 스토하스틱 선형 밴디트 문제에서 하위선형 리그레트를 달성할 수 있는가?
• RQ2 매개변수 $\theta$의 희소성을 활용하여 기존의 $O(K\sqrt{n})$ 한계 이하의 리그레트를 달성할 수 있는가?
• RQ3 제한된 샘플 수로도 압축 감지 기법을 밴디트 학습에 효과적으로 통합하여 관련 특징을 식별할 수 있는가?
• RQ4 고차원 희소 환경에서 탐색과 이용을 어떻게 균형 잡아 리그레트를 최소화할 수 있는가?
• RQ5 진짜 매개변수가 $S$-희소이고 $S \ll K$일 때 최적의 리그레트 스케일링은 무엇인가?

주요 결과

• SL-UCB 알고리즘이 $O(S\sqrt{n})$의 리그레트 한계를 달성하며, 이는 환경 차원 $K$가 아닌 희소성 $S$에 따라 결정되어 기존의 $O(K\sqrt{n})$ 한계에 비해 크게 향상된다.
• 리그레트 한계는 높은 확률 $1 - \delta$에서 성립하며, $\delta$에 대한 의존성은 로그적이다. 구체적으로 $O(\log(2K/\delta))$이다.
• 탐색 단계에서 압축 감지 이론과 일치하는 $O(S\log K)$개의 측정값만으로도 $\theta$의 지지 집합을 성공적으로 식별한다.
• 수치 실험을 통해 SL-UCB가 희소 기울기를 가진 고차원 함수 최적화에서 표준 밴디트 기반 방법보다 효율적임을 입증하였다.
• 특히 기울기 상승을 통한 고차원 함수 최적화와 같이 관련 변수의 수가 매우 적은 환경에서 본 방법은 매우 효과적이다.
• 분석 결과 리그레트는 지지 집합 복원 오차와 압축된 $S$-차원 부분공간에서의 리그레트에 의해 지배되며, 이 둘 모두 농도 및 UCB 스타일의 신뢰 구간을 통해 제어된다.