[논문 리뷰] Nonparametric Contextual Bandits in an Unknown Metric Space

Nirandika Wanigasekara, Christina Lee Yu|arXiv (Cornell University)|2019. 08. 03.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 4

한 줄 요약

이 논문은 알려지지 않은 거리 공간 내에서 암묵적인 유사성을 학습하는 비모수적 맥락적 밴디트 알고리즘을 제안하며, 이는 맥락-암호 공간의 적응적 분할을 가능하게 하여 학습 효율성을 향상시킨다. 보상 함수의 국소 기하학에 따라 스케일링되는 리그레트 경계를 달성하며, 암호의 $\delta$-최적일 확률이 $\delta$에 선형적으로 비례할 경우 $O(\sqrt{KT})$ 리그레트를 달성한다. 이는 암호 거리 또는 보상 구조에 대한 사전 지식이 필요로 하지 않는다.

ABSTRACT

Consider a nonparametric contextual multi-arm bandit problem where each arm $a \in [K]$ is associated to a nonparametric reward function $f_a: [0,1] o \mathbb{R}$ mapping from contexts to the expected reward. Suppose that there is a large set of arms, yet there is a simple but unknown structure amongst the arm reward functions, e.g. finite types or smooth with respect to an unknown metric space. We present a novel algorithm which learns data-driven similarities amongst the arms, in order to implement adaptive partitioning of the context-arm space for more efficient learning. We provide regret bounds along with simulations that highlight the algorithm's dependence on the local geometry of the reward functions.

연구 동기 및 목표

• 큰 수의 암호와 그들 간의 알려지지 않은 구조적 관계를 가진 비모수적 맥락적 밴디트에서 효율적 학습을 해결하는 데 목적을 두며.
• 사전에 지정된 거리 또는 커널에 의존하지 않고 데이터로부터 암호 유사성을 학습하는 알고리즘을 개발하는 데 목적을 두며.
• 특히 $\delta \to 0$에 수렴할 때 $\delta$-최적 암호의 체적 스케일링을 반영한 보상 함수의 국소 기하학을 반영한 리그레트 경계를 제공하는 데 목적을 두며.
• 데이터 기반 유사성 학습이 독립적 암호 학습 또는 비최적 거리 가정보다 장기적으로 성능을 향상시킨다는 것을 보여주는 데 목적을 두며.

제안 방법

• 관측된 보상으로부터 추정된 쌍별 암호 유사성에 기반해 맥락-암호 공간을 동적으로 분할하는 Slivkin의 Zooming 알고리즘을 적응적으로 적용한다.
• 보상 함수의 차이에서 유도된 데이터 기반 거리 측정 $\mathcal{D}_u^v(a,a')$ 를 사용하여 사전에 지정된 거리 측정에 의존하지 않는다.
• 충분한 데이터가 한 지역에 축적되었을 때 $n_t(\rho) \geq 4\ln(T)/\Delta^2$ 조건을 기반으로 하위 분할을 트리거하는 플래그 규칙을 사용한다.
• 유사한 보상 함수를 가진 암호를 군집화하여 유사한 암호들 간에 학습을 공유할 수 있도록 한다.
• 최적 정책 근처의 지역에서 해상도를 높이는 적응적 분할을 적용하여, 중요도가 높은 지역에서 정밀도를 향상시킨다.
• 유사성 추정에 $k=26$ 를 사용하며, $k$ 선택에 민감도가 샘플링 효율성에 영향을 준다.

실험 결과

연구 질문

• RQ1 알려지지 않은 기저 거리 공간에 대한 사전 지식이 없이도 비모수적 맥락적 밴디트 설정에서 유용한 암호 유사성을 학습할 수 있는가?
• RQ2 암호의 수가 많고 보상 함수가 알려지지 않은 거리에 대해 부드럽게 변할 경우, 맥락적 밴디트 알고리즘의 리그레트는 어떻게 스케일링되는가?
• RQ3 데이터 기반 유사성 학습이 고정된 거리를 가정하거나 암호를 독립적으로 학습하는 방법보다 우월한가?
• RQ4 알고리즘의 성능은 보상 함수의 국소 기하학, 특히 $\delta$-최적 암호의 체적에 따라 어떻게 달라지는가?

주요 결과

• 측정된 $\delta$-최적 암호의 체적이 $\delta$에 선형적으로 비례할 경우, 제안된 알고리즘이 $O(\sqrt{KT})$ 리그레트를 달성하며, 이는 국소 보상 기하학에 대한 효율적 적응을 시사한다.
• 시뮬레이션 결과, 유사성 추정으로 인해 초기에 높은 비용을 지aying 하지만 장기 설정에서는 독립적 암호 학습 및 거리 기반 기준보다 뚜렷이 우수한 성능을 보인다.
• 알고리즘은 암호 공간의 측정 유지 변환에 대해 강건하게 작동하며, 나쁜 거리 선택에 따라 성능이 저하되는 거리 의존적 알고리즘과는 대조된다.
• 빈도도는 알고리즘이 시간이 지남에 따라 정책을 학습하고 정밀화함을 보여주며, 암호 선택의 형태가 점점 최적의 진동 정책과 일치해진다.
• 진실된 거리를 사용하는 오라클 변형이 가장 우수한 성능을 보였지만, 데이터 기반 유사성을 사용하는 알고리즘이 이를 매우 잘 근사함으로써 자기 학습된 거리 측정의 효과성을 입증한다.
• 고정된 거리 표현(예: $|\theta_a - \theta_{a'}|$)을 사용할 경우 진정한 거리보다 수렴 속도가 느리며, 이는 사전에 적절한 거리를 선택하는 것이 얼마나 어려운지 보여준다.