[논문 리뷰] Stochastic Linear Bandits with Hidden Low Rank Structure

Sahin Lale, Kamyar Azizzadenesheli외 2명|arXiv (Cornell University)|2019. 01. 28.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 14

한 줄 요약

이 논문은 고차원 행동 표현에서 숨겨진 저질서 구조를 파악하기 위해 주성분분석(PCA) 기반 투영을 활용하는 Projected Stochastic Linear Bandit (PSLB) 알고리즘을 제안한다. 이는 스 tochastic linear bandits에서의 누적 손실을 크게 감소시킨다. 비지도 행동 벡터를 활용해 부분공간을 복구함으로써, PSLB는 잠재 차원 $d$가 아니라 본질적 부분공간 차원 $Σ$에 따라 의존하는 누적 손실 경계를 달성하며, $d=1000$인 MNIST 및 CIFAR-10과 같은 고차원 환경에서 OFUL을 능가한다.

ABSTRACT

High-dimensional representations often have a lower dimensional underlying structure. This is particularly the case in many decision making settings. For example, when the representation of actions is generated from a deep neural network, it is reasonable to expect a low-rank structure whereas conventional structures like sparsity are not valid anymore. Subspace recovery methods, such as Principle Component Analysis (PCA) can find the underlying low-rank structures in the feature space and reduce the complexity of the learning tasks. In this work, we propose Projected Stochastic Linear Bandit (PSLB), an algorithm for high dimensional stochastic linear bandits (SLB) when the representation of actions has an underlying low-dimensional subspace structure. PSLB deploys PCA based projection to iteratively find the low rank structure in SLBs. We show that deploying projection methods assures dimensionality reduction and results in a tighter regret upper bound that is in terms of the dimensionality of the subspace and its properties, rather than the dimensionality of the ambient space. We modify the image classification task into the SLB setting and empirically show that, when a pre-trained DNN provides the high dimensional feature representations, deploying PSLB results in significant reduction of regret and faster convergence to an accurate model compared to state-of-art algorithm.

연구 동기 및 목표

• 고차원 특징 공간에서 $d$가 클 경우 표준 스 tochastic linear bandits(SLB)의 높은 누적 손실 문제를 해결한다.
• 스pars티 가정이 더 이상 성립하지 않을 때, 딥 러닝 특징에서 흔한 행동 표현의 숨겨진 저질서 구조를 활용한다.
• 선택된(감독) 및 선택되지 않은(비감독) 행동을 모두 활용해 기저의 저차원 부분공간을 복구하는 방법을 개발한다.
• 잠재 차원 $d$에 대한 의존도를 줄이고, 본질적 부분공간 차원 $\Upsilon$에 기반한 성능 기준으로 누적 손실 경계를 향상시킨다.
• 부분공간 복구의 난이도에 따라 동적으로 적응하면서도 누적 손실 보장을 유지하는 알고리즘을 설계한다.

제안 방법

• 결정 집합 내 모든 행동 벡터에 대해 주성분분석(PCA)을 적용하여 기저의 저차원 부분공간을 추정한다.
• 각 라운드에서 모든 행동 벡터를 추정된 $m$차원 부분공간에 투영하여 차원을 감소시키고 학습을 단순화한다.
• 투영된 부분공간에서 알려지지 않은 보상 파라미터에 대한 신뢰집합을 유지하며, OFU 원칙을 통한 낙관적 탐색을 사용한다.
• 추정된 부분공간이 정확하지 않을 경우에도 강건성을 확보하기 위해 신뢰집합의 교차를 사용하여, OFUL보다 성능이 열 劣하지 않도록 보장한다.
• 선택되지 않은 행동 벡터를 포함한 모든 관측된 행동 벡터를 사용해 부분공간 추정을 반복적으로 업데이트하여 시간이 지남에 따라 복구 정확도를 향상시킨다.
• OFUL 스타일 알고리즘에 투영된 신뢰집합을 통합하여 감소된 공간에서 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 고차원 스 tochastic linear bandits에서 비지도 행동 벡터를 어떻게 활용해 기저의 저질서 구조를 복구할 수 있는가?
• RQ2 진짜 행동 표현이 저차원 부분공간 근처에 있을 경우 달성 가능한 누적 손실 경계는 무엇이며, 기존 SLB 경계와 비교해 어떻게 다른가?
• RQ3 스pars티 가정이 실패하는 고차원 SLB 환경(예: 딥 뉴럴 네트워크 특징)에서 PCA 기반 투영이 누적 손실을 줄일 수 있는가?
• RQ4 잠재 차원 $d$가 크고(예: $d=1000$) 부분공간 차원 $m$이 중간일 경우, PSLB의 성능은 OFUL과 어떻게 비교되는가?
• RQ5 PSLB가 OFUL을 능가하는 조건은 무엇이며, 언제 교차된 신뢰집합 메커니즘 덕분에 성능이 동등하게 유지되는가?

주요 결과

• PSLB는 $\widetilde{\mathcal{O}}\left(\min\left\{\Upsilon\sqrt{T}, d\sqrt{T}\right\}\right)$의 누적 손실 상한선을 달성하며, $\Upsilon$는 부분공간 복구의 난이도를 나타낸다. $\Upsilon \ll d$일 경우, $\widetilde{\mathcal{O}}\left(d\sqrt{T}\right)$에 비해 크게 향상된다.
• $d=1000$인 MNIST 및 CIFAR-10 실험에서, PSLB는 OFUL보다 상당히 낮은 누적 손실을 기록하며, 특히 부분공간 차원 $m \geq 8$일 경우 두드러진 성능 향상을 보였다.
• 조금만 $m=1$이어도, 효과적인 부분공간 투영 덕분에 초기 라운드에서 거의 0에 가까운 누적 손실을 기록하여 강력한 초기 학습 효율성을 보였다.
• 부분공간 복구가 어려운 경우, 교차된 신뢰집합 메커니즘 덕분에 PSLB는 OFUL과 성능이 동등하게 유지된다.
• $d=100$ 및 1000개의 행동을 가진 ImageNet 기반 SLB에서, PSLB는 비지도 행동 벡터를 활용해 OFUL보다 빠르게 수렴하고 훨씬 적은 실수를 누적했다.
• 실험 결과, PSLB의 누적 손실은 모든 테스트된 $d$ 값에서 OFUL보다 일관되게 낮았으며, $d$가 증가할수록 격차가 더욱 벌어졌다.