[논문 리뷰] Impact of Representation Learning in Linear Bandits

Jiaqi Yang, Wei Hu외 2명|arXiv (Cornell University)|2020. 10. 13.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 4

한 줄 요약

이 논문은 다중 작업 선형 밴디트에서 공유되는 저차원 표현을 활용하여 성능을 향상시키는 새로운 알고리즘을 제안한다. $T$개의 작업을 통해 공통의 $k \ll d$차원 특징 추출기 $\mathbf{B} \in \mathbb{R}^{d \times k}$를 활용함으로써, $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$의 리그레트를 달성하며, $T$가 클 경우 독립 학습($\widetilde{O}(T\sqrt{dN})$)보다 유의미하게 뛰어나다. 최소 최대 하한선 분석을 통해 이는 로그 인자 외에는 최적임을 확인한다.

ABSTRACT

We study how representation learning can improve the efficiency of bandit problems. We study the setting where we play $T$ linear bandits with dimension $d$ concurrently, and these $T$ bandit tasks share a common $k (\ll d)$ dimensional linear representation. For the finite-action setting, we present a new algorithm which achieves $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ regret, where $N$ is the number of rounds we play for each bandit. When $T$ is sufficiently large, our algorithm significantly outperforms the naive algorithm (playing $T$ bandits independently) that achieves $\widetilde{O}(T\sqrt{d N})$ regret. We also provide an $Ω(T\sqrt{kN} + \sqrt{dkNT})$ regret lower bound, showing that our algorithm is minimax-optimal up to poly-logarithmic factors. Furthermore, we extend our algorithm to the infinite-action setting and obtain a corresponding regret bound which demonstrates the benefit of representation learning in certain regimes. We also present experiments on synthetic and real-world data to illustrate our theoretical findings and demonstrate the effectiveness of our proposed algorithms.

연구 동기 및 목표

• 순차적 결정 문제에서 표현 학습의 이점을 이론적으로 규명하는 것, 특히 다중 작업 선형 밴디트에서의 적용을 목적으로 한다.
• 관련된 밴디트 작업 간 공유되는 저차원 표현을 활용하여 리그레트를 줄이는 알고리즘을 설계하는 것.
• 표현 학습으로 인한 효율성 향상을 입증하기 위해 상한 및 하한 모두의 날카러운 리그레트 한계를 설정하는 것.
• 무한 행동 설정으로의 프레임워크 확장을 수행하고, 실증적으로 접근법을 검증하는 것.

제안 방법

• 알고리즘은 $T$개의 작업 전반에 걸쳐 공통의 $k$차원 특징 추출기 $\mathbf{B} \in \mathbb{R}^{d \times k}$를 동시에 학습하며, 각 작업의 파라미터 $\bm{\theta}_t = \mathbf{B} \mathbf{w}_t$로 표현된다.
• 각 작업의 보상은 임bedded된 컨텍스트 $\mathbf{B}^\top \mathbf{x}_{n,t,a}$에 대해 선형임을 가정하는 컨텍스트 밴디트 프레임워크를 사용한다.
• 공통 표현을 학습하고 개별 작업 정책을 최적화하는 데 균형을 이루는 새로운 탐색 전략을 도입한다.
• 무한 행동 설정에서는 커널 기반 또는 연속적 행동 변형을 사용하여 알고리즘을 확장하며, 리그레트 한계는 $\widetilde{O}(d^{1.5}k\sqrt{TN} + kT\sqrt{N})$로 나타난다.
• 이론적 분석은 농도 불등식과 정보 이론적 하한선을 결합하여 최소 최대 최적성을 입증한다.
• 실증 검증은 합성 데이터와 MNIST 데이터셋을 대상으로 수행되어 표현 학습 하에서의 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 표현 학습은 다중 작업 선형 밴디트에서 리그레트를 증명 가능하게 줄일 수 있는가?
• RQ2 작업들이 공통의 저차원 표현을 공유할 경우, 기본적인 리그레트 한계는 무엇인가?
• RQ3 작업 수 $T$와 표현 차원 $k$는 표현 학습의 성능 향상에 어떤 영향을 미치는가?
• RQ4 무한 행동 밴디트 설정에서도 표현 학습이 여전히 유용한가?
• RQ5 부족한 작업 다양성으로 인해 부정적 전이가 발생할 수 있는 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 유한 행동 설정에서 $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$의 리그레트를 달성하며, $T$가 클 경우 독립 학습의 $\widetilde{O}(T\sqrt{dN})$ 리그레트보다 엄격히 우수하다.
• $\Omega(T\sqrt{kN} + \sqrt{dkNT})$의 리그레트 하한선이 확립되어, 알고리즘의 리그레트가 로그 인자 외에는 최소 최대 최적임을 입증한다.
• 무한 행동 설정에서는 $\widetilde{O}(d^{1.5}k\sqrt{TN} + kT\sqrt{N})$의 리그레트를 달성하며, $T = \widetilde{\Omega}(dk^2)$일 경우 난이도 기반의 $O(Td\sqrt{N})$ 기준보다 뛰어나다.
• 합성 데이터 및 MNIST 데이터에 대한 실험 결과, 리그레트가 작업 수 $T$가 증가함에 따라 감소함을 확인하여, 고작업 환경에서 표현 학습의 이점이 검증된다.
• 작업 수 $T$가 작을 경우 알고리즘이 부정적 전이를 보이며, 충분한 작업 다양성이 없을 경우 성능 저하가 발생할 수 있음을 시사한다.
• 하이퍼파rameter 스케일링 $N_1 = d^{1.5}k\sqrt{N/T}$는 핵심적이다. $c=1.5$일 때에만 실제에서 PEGE와 같은 기준보다 성능이 뛰어나다.