[논문 리뷰] Provable Benefits of Representation Learning in Linear Bandits.

Jiaqi Yang, Wei Hu외 2명|arXiv (Cornell University)|2020. 10. 13.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 $T$개의 동시에 진행되는 밴디트 작업 간에 공유되는 저차원($k \ll d$) 표현을 활용하는 선형 밴디트를 위한 새로운 알고리즘을 제안한다. 이로 인해 $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$의 리그레트를 달성한다. 공유된 구조를 활용함으로써 단순한 독립 학습($\widetilde{O}(T\sqrt{dN})$)에 비해 상당한 성능 향상을 이룩하였으며, 상한 및 하한 경계가 일치함으로써 로그 인자 외에는 최소자승 최적성임을 증명한다.

ABSTRACT

We study how representation learning can improve the efficiency of bandit problems. We study the setting where we play $T$ linear bandits with dimension $d$ concurrently, and these $T$ bandit tasks share a common $k (\ll d)$ dimensional linear representation. For the finite-action setting, we present a new algorithm which achieves $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ regret, where $N$ is the number of rounds we play for each bandit. When $T$ is sufficiently large, our algorithm significantly outperforms the naive algorithm (playing $T$ bandits independently) that achieves $\widetilde{O}(T\sqrt{d N})$ regret. We also provide an $\Omega(T\sqrt{kN} + \sqrt{dkNT})$ regret lower bound, showing that our algorithm is minimax-optimal up to poly-logarithmic factors. Furthermore, we extend our algorithm to the infinite-action setting and obtain a corresponding regret bound which demonstrates the benefit of representation learning in certain regimes. We also present experiments on synthetic and real-world data to illustrate our theoretical findings and demonstrate the effectiveness of our proposed algorithms.

연구 동기 및 목표

• 다양한 동시 작업을 포함하는 선형 밴디트 문제에서 표현 학습이 표본 효율성을 어떻게 향상시킬 수 있는지 조사하기 위해.
• 공유되는 $k$차원 표현을 $T$개의 선형 밴디트에 활용하여 리그레트를 감소시키는 알고리즘을 설계하기 위해.
• 표현 학습이 독립 학습 대비 유리한 점을 입증하기 위해 이론적 리그레트 경계를 확립하기 위해.
• 무한 행동 설정으로의 프레임워크 확장을 시도하고 성능을 분석하기 위해.
• 합성 및 실세계 데이터를 활용한 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 공유되는 저차원 표현($k \ll d$)을 $T$개의 선형 밴디트 작업 간에 활용하여 효과적 차원을 감소시킨다.
• 누적 리그레트를 최소화하기 위해 표현 인식 탐색 및 추정을 수행하는 컨텍스트 밴디트 프레임워크를 사용한다.
• 공유된 표현 기반의 신뢰 집합 구성 기법을 도입하여 추정 효율성을 향상시킨다.
• 공유된 표현 공간에서 탐색과 이용 간의 트레이드오프를 분석하기 위해 새로운 리그레트 분해 기법을 사용한다.
• 무한 행동 설정에서는 커널 방법 또는 함수 근사 기법을 활용하여 표현 기반 접근을 확장한다.
• 집중 부등식과 표현 학습 경계를 결합한 이론적 분석을 통해 날카운 리그레트 보장을 도출한다.

실험 결과

연구 질문

• RQ1 공유되는 저차원 구조를 가진 다중 작업 선형 밴디트 설정에서 표현 학습이 리그레트를 감소시킬 수 있는가?
• RQ2 공유되는 $k$차원 표현($k \ll d$)을 가진 $T$개의 선형 밴디트에서 달성 가능한 최적 리그레트는 무엇인가?
• RQ3 제안된 알고리즘이 독립 학습 대비 리그레트 스케일링에서 어떻게 다른가?
• RQ4 제안된 리그레트 경계가 로그 인자 외에는 최소자승 최적인가?
• RQ5 표현 학습의 이점은 무한 행동 선형 밴디트로까지 확장될 수 있는가?

주요 결과

• 제안된 알고리즘은 $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$의 리그레트 경계를 달성하며, $k \ll d$일 경우 단순한 독립 학습의 $\widetilde{O}(T\sqrt{dN})$ 리그레트에 비해 상당히 우수하다.
• 공존하는 $\Omega(T\sqrt{kN} + \sqrt{dkNT})$ 리그레트 하한 경계가 확립되었으며, 이는 알고리즘의 리그레트가 다항 로그 인자 외에는 최소자승 최적임을 증명한다.
• 특히 $T$가 클 경우 성능 향상이 두드러지며, 공유된 표현 덕분에 효과적 차원이 $d$에서 $k$로 감소하기 때문이다.
• 알고리즘은 무한 행동 설정으로도 확장되며, 적절한 영역에서는 표현 학습의 이점을 유지한다.
• 합성 및 실세계 데이터를 활용한 실험을 통해 이론적 결과가 검증되었고, 제안된 방법의 실용적 효율성이 입증되었다.
• 결과는 표현 학습이 다중 작업 밴디트 학습에서 더 효율적인 탐색과 더 빠른 수렴을 가능하게 한다는 것을 확인시켰다.