[논문 리뷰] A Simple Unified Framework for High Dimensional Bandit Problems

Wenjie Li, Adarsh Barik외 1명|arXiv (Cornell University)|2021. 02. 18.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 희소성, 저질서, 그룹 희소성 등의 저차원 구조를 가진 고차원 스토하스틱 밴딧 문제를 위한 통합적인 탐색-구조-그런 다음 확정(Explore-the-Structure-Then-Commit, ESTC) 알고리즘을 제안한다. 구조적 가정을 활용하여 매개변수 추정을 이끌어내는 프레임워크는 차원에 대해 로그적 의존도를 달성하고, LASSO 밴딧, 저질서 행렬 밴딧, 그룹 희소 행렬 밴딧, 그리고 새로운 다중 에이전트 LASSO 밴딧 설정에서 최적의 리그레트 경계를 확보한다.

ABSTRACT

Stochastic high dimensional bandit problems with low dimensional structures are useful in different applications such as online advertising and drug discovery. In this work, we propose a simple unified algorithm for such problems and present a general analysis framework for the regret upper bound of our algorithm. We show that under some mild unified assumptions, our algorithm can be applied to different high dimensional bandit problems. Our framework utilizes the low dimensional structure to guide the parameter estimation in the problem, therefore our algorithm achieves the comparable regret bounds in the LASSO bandit, as well as novel bounds in the low-rank matrix bandit, the group sparse matrix bandit, and in a new problem: the multi-agent LASSO bandit.

연구 동기 및 목표

• 다양한 저차원 구조를 가진 고차원 밴딧 문제를 위한 통합 알고리즘 프레임워크의 부재를 해결한다.
• 기존 연구의 한계를 극복한다. 기존 연구는 LASSO 밴딧에서는 가능함에도 불구하고, 차원에 대해 다항적 의존도를 보이는 경우가 많다.
• 약간의 통합된 가정 하에 다양한 고차원 밴딧 설정에 적용 가능한 일반적인 리그레트 분석 프레임워크를 개발한다.
• 구조적 밴딧 알고리즘의 적용 범위를 다중 에이전트 LASSO 밴딧과 같이 새로운 문제로 확장하며, 증명 가능한 성능 보장을 제공한다.
• 저질서 및 그룹 희소 행렬 밴딧에 대해 새로운, 날카운 리그레트 경계를 도출하여, 차원에 대해 로그적 의존도를 입증한다.

제안 방법

• 탐색에서 구조적 정보를 분리하고, 추정된 매개변수를 이용한 이용으로 나누는 ESTC 알고리즘을 제안한다.
• 탐색 단계 동안 발생하는 두 가지 핵심의 고확률 사건을 정의하여, 약간의 가정 하에 리그레트가 유한하게 유지됨을 보장한다.
• 구조적 정규화(예: L1, 핵심 노름, 그룹 라소)를 사용하여 매개변수 추정에서 저차원 구조를 활용한다.
• 일반적인 리그레트 분해 기법을 적용하여 추정 오차를 매개변수 이탈과 노이즈 항의 조합으로 제한한다.
• 집중 부등식과 구조적 가정(예: 희소성, 저질서, 그룹 희소성)을 활용하여 차원에 의존하지 않는 리그레트 경계를 유도한다.
• 다중 에이전트 LASSO 밴딧에 대한 새로운 확장을 도입하여, 에이전트 간 공유되는 매개변수 구조를 그룹 희소성으로 모델링한다.

실험 결과

연구 질문

• RQ1 다양한 저차원 구조를 가진 고차원 밴딧 문제를 통합하는 단일이고 단순한 알고리즘 프레임워크를 설계할 수 있는가?
• RQ2 이러한 통합 프레임워크는 다양한 문제 유형에서 차원에 대해 로그적 의존도를 가지는 리그레트 경계를 달성하는가?
• RQ3 이 프레임워크는 다중 에이전트 LASSO 밴딧과 같은 새로운 문제로 확장 가능하며, 강력한 이론적 보장을 유지하는가?
• RQ4 약간의 통합된 가정 하에 도출된 리그레트 경계는 이전 연구에 비해 특히 저질서 및 그룹 희소 설정에서 더 날카로운가?
• RQ5 이론적 분석은 다양한 밴딧 문제 변형에 걸쳐 실험적으로 검증될 수 있는가?

주요 결과

• ESTC 알고리즘은 LASSO 밴딧에서 차원에 대해 로그적 의존도를 가지는 리그레트 경계를 달성하여 최신 기술 수준의 결과를 재현한다.
• 저질서 행렬 밴딧의 경우, 리그레트 경계가 $\mathcal{O}(r^{1/3}T^{2/3}\sqrt{\log T}\log((d_1+d_2)T))$의 순서를 가지며, $d_1 + d_2$에 대해 로그적 의존도를 보인다.
• 그룹 희소 행렬 밴딧의 경우, 리그레트는 $\mathcal{O}(d_2^{1/3}s^{1/3}T^{2/3}\sqrt{\log(d_1T)})$의 순서로 스케일링되며, $d_1$에 대해 로그적 의존도를 보인다.
• 이 프레임워크는 그룹 희소 행렬 밴딧 및 다중 에이전트 LASSO 밴딧에 대해 최초로 증명 가능한 최적 리그레트 경계를 제공한다.
• 실험 결과는 이론적 경계가 예측한 바와 같이 누적 리그레트가 모든 문제 유형에서 스케일링 됨을 확인한다.
• 저자들은 이전에 발표된 Hao 등 (2020a)의 오류를 수정하였으며, LASSO 밴딧 경계에서 누락된 $\sqrt{\log(dT)}$ 항이 증명 오류였음을 확인하였다.