[논문 리뷰] High-Dimensional Experimental Design and Kernel Bandits

Romain Camilleri, Julian Katz-Samuels외 1명|arXiv (Cornell University)|2021. 05. 12.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 6

한 줄 요약

이 논문은 고차원 실험 설계에 대한 새로운 반올림 절차를 제안하며, 측정 수 $N$과 환경 차원 $d$ 사이의 분리된 관계를 설정함으로써 $N \ll d$ 인 경우에도 효율적인 커널 밴딧 알고리즘을 가능하게 한다. 이 방법은 $N$이 $d$에 따라 증가할 필요 없이 거의 최적의 성능 보장을 달성하며, 모델 부정확성에 대해 저항력 있는 커널 밴딧 알고리즘 개발에 활용된다.

ABSTRACT

In recent years methods from optimal linear experimental design have been leveraged to obtain state of the art results for linear bandits. A design returned from an objective such as $G$-optimal design is actually a probability distribution over a pool of potential measurement vectors. Consequently, one nuisance of the approach is the task of converting this continuous probability distribution into a discrete assignment of $N$ measurements. While sophisticated rounding techniques have been proposed, in $d$ dimensions they require $N$ to be at least $d$, $d \log(\log(d))$, or $d^2$ based on the sub-optimality of the solution. In this paper we are interested in settings where $N$ may be much less than $d$, such as in experimental design in an RKHS where $d$ may be effectively infinite. In this work, we propose a rounding procedure that frees $N$ of any dependence on the dimension $d$, while achieving nearly the same performance guarantees of existing rounding procedures. We evaluate the procedure against a baseline that projects the problem to a lower dimensional space and performs rounding which requires $N$ to just be at least a notion of the effective dimension. We also leverage our new approach in a new algorithm for kernelized bandits to obtain state of the art results for regret minimization and pure exploration. An advantage of our approach over existing UCB-like approaches is that our kernel bandit algorithms are also robust to model misspecification.

연구 동기 및 목표

• 측정 수 $N$이 차원 $d$보다 훨씬 작을 때 연속적인 최적 실험 설계를 이산 측정 할당으로 변환하는 문제에 대처하며, 특히 무한차원 재생 커널 힐버트 공간(RKHS)에서의 상황을 고려한다.
• 기존 반올림 기법이 부분 최적성 한계를 확보하기 위해 $d$, $d\log\log d$, 또는 $d^2$와 같이 $d$에 따라 증가해야 하는 제한을 극복한다.
• 모델 부정확성 하에서도 회귀 최소화 및 순수 탐색 설정에서 강력한 성능 보장을 유지하는 새로운 커널 밴딧 알고리즘을 개발한다.
• UCB 스타일의 신뢰 구간에 의존하지 않는 새로운 설계 기반 접근법을 활용하여 커널 밴딧 알고리즘의 모델 부정확성에 대한 저항력을 확보한다.

제안 방법

• 측정 벡터에 대한 연속적인 $G$-최적 설계 분포를 이산적인 $N$개의 측정으로 변환하는 새로운 반올림 절차를 제안하며, 이는 $d$에 의존하지 않아 고차원 또는 무한차원 설정에서도 사용 가능하다.
• RKHS 설정에서 $G$-최적 설계를 계산하기 위해 미러 디센트를 사용하여 최적의 암을 추정할 때의 분산을 최소화한다.
• 제안된 반올림 방법을 커널 밴딧 알고리즘에 통합하여, 실험 설계에서 유도된 신뢰 구간에 기반해 순차적으로 열등한 암을 제거하는 제거 기반 전략을 사용한다.
• 설계 최적화를 $θ$-노름과 측정 벡터와의 내적에 대한 제약 조건을 포함하는 볼록 프로그램으로 설정하고, 라그랑주 역설과 이중 최적화를 통해 해결한다.
• 이중 표현을 도입하여 이중 변수 $\gamma$와 $\nu$에 대해 최대화함으로써 최적 설계의 효율적 계산을 가능하게 하며, 표본 복잡도의 하한에 대한 닫힌 표현식을 도출한다.
• 이러한 설계를 기반으로 하여 상태 기반의 회귀 및 순수 탐색 성능 보장을 달성하는 커널 밴딧 알고리즘을 구성하며, 모델이 잘못 지정된 경우($h > 0$)에도 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 고차원 실험 설계에서 $N$이 $d$에 의존하지 않도록 하면서도 거의 최적의 성능 보장을 유지할 수 있는 반올림 절차를 설계할 수 있는가?
• RQ2 어떻게 $d$가 실제로 무한하거나 $N \ll d$ 인 경우에 최적 실험 설계 원리를 커널화된 밴딧에 확장할 수 있는가?
• RQ3 실험 설계 기반 커널 밴딧 알고리즘은 표준 UCB 기반 방법과 비교해 모델 부정확성($h > 0$)에 대해 어느 정도 저항력이 있는가?
• RQ4 모델 부정확성 있는 커널 밴딧 설정에서 순수 탐색의 이론적 표본 복잡도 하한은 무엇이며, 실용적인 알고리즘이 이 하한에 거의 도달할 수 있는가?

주요 결과

• 제안된 반올림 절차는 $N$이 $d$에 의존하지 않으며, $N \geq d$ 가 요구되는 기존 반올림 방법과 거의 동일한 성능 보장을 달성한다.
• 새로운 커널 밴딧 알고리즘은 잘 지정된 설정과 부정확한 설정 모두에서 최신 기술 수준의 회귀 및 순수 탐색 성능을 달성한다.
• 표준 UCB 기반 접근법과 달리, 이 알고리즘은 모델 부정확성($h > 0$)에 저항력이 있으며, 정확한 선형성에 의존하기 때문에 부정확성 하에서 실패한다.
• 이론적 분석 결과 순수 탐색의 표본 복잡도 하한은 $T^*(\theta_*) = \inf_{\lambda \in \Delta_{\mathcal{X}}} \sup_{x' \neq x_*} \inf_{\gamma \geq 0} \frac{1}{F(\lambda, x', \gamma, \theta_*)}$ 로 표현되며, 제안된 방법은 이 하한에 거의 도달한다.
• 실증 평가 결과, 특히 $N \ll d$ 인 경우 기저 방법보다 압도적으로 뛰어난 성능을 보이며, 낮은 차원으로의 투영을 시도하는 방법보다 뛰어나다.
• 이 알고리즘은 높은 꼬리 노이즈가 존재하는 경우에도 강력한 성능을 유지한다. 이는 유한한 분산 이외에 유계 또는 서브가우시안 노이즈를 가정하지 않기 때문이다.