[논문 리뷰] Information Directed Sampling for Linear Partial Monitoring

Johannes Kirschner, Tor Lattimore외 1명|arXiv (Cornell University)|2020. 02. 25.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 7

한 줄 요약

이 논문은 보상이 관측되지 않지만 관측값과 선형적으로 관련된 선형 부분 관측 문제를 위한 정보 지향 샘플링( IDS ) 알고리즘을 제안한다. 이 방법은 회귀와 정보 획득을 적절히 균형 잡아, 초모수 조정 없이 네 가지 다른 최소최대 회귀(regret) 영역에서 로그 인자까지 near-optimal 회귀율을 달성한다.

ABSTRACT

Partial monitoring is a rich framework for sequential decision making under uncertainty that generalizes many well known bandit models, including linear, combinatorial and dueling bandits. We introduce information directed sampling (IDS) for stochastic partial monitoring with a linear reward and observation structure. IDS achieves adaptive worst-case regret rates that depend on precise observability conditions of the game. Moreover, we prove lower bounds that classify the minimax regret of all finite games into four possible regimes. IDS achieves the optimal rate in all cases up to logarithmic factors, without tuning any hyper-parameters. We further extend our results to the contextual and the kernelized setting, which significantly increases the range of possible applications.

연구 동기 및 목표

• 관측되지 않는 보상을 가진 스토하스틱 선형 부분 관측 문제에 대해 초모수 없는 알고리즘을 개발한다.
• 관측 가능성 조건에 기반해 유한한 행동 집합 게임의 최소최대 회귀를 네 가지 구분된 영역으로 분류한다.
• 더 넓은 적용 가능성을 위해 IDS 프레임워크를 문맥적 및 커널 기반 설정으로 확장한다.
• 기존 알려진 하한값과 로그 인자까지 정확히 일치하는 날카로운 회귀 한계를 확립한다.
• 전역 및 국소 관측 가능성의 역할이 기본적인 학습 난이도를 어떻게 결정하는지 규명한다.

제안 방법

• 행동 선택에서 기대 회귀와 정보 획득을 균형 잡기 위해 정보 비율 최소화를 사용한다.
• 각 행동에 대해 보수적인 갭 추정치 $\Delta_t(x) \geq \langle x^*-x,\theta\rangle$ 와 정보 획득 $I_t(x)$ 를 구성한다.
• 기대값 $\mathbb{E}_\mu[\Delta_t(x)]^2 / \mathbb{E}_\mu[I_t(x)]$ 를 최소화하는 분포 $\mu_t$ 를 통해 행동을 선택한다.
• 서브가우시안 노이즈 가정과 농도 불등식을 사용해 추정 오차를 통제한다.
• Bretagnolle-Hubert 및 KL 발산 기반의 추론을 통해 회귀의 하한을 유도한다.
• 특징 공간 일반화와 커널 기반 파라미터 추정을 통해 프레임워크를 문맥적 및 커널 기반 설정으로 확장한다.

실험 결과

연구 질문

• RQ1 유한한 행동 집합을 가진 선형 부분 관측 게임의 기본 최소최대 회귀율은 무엇인가?
• RQ2 전역 및 국소 관측 가능성 조건은 달성 가능한 회귀율에 어떻게 영향을 미치는가?
• RQ3 모든 관측 가능성 영역에서 초모수 조정 없이 IDS가 최적의 회귀율을 달성할 수 있는가?
• RQ4 무한한 행동 집합 또는 곡선 행동 집합 설정에서는 회귀가 어떻게 척도가 변하는가?
• RQ5 정보 비율은 부분 관측 환경에서 탐색과 이용의 균형을 어떻게 유지하는가?

주요 결과

• 유한한 행동 집합을 가진 선형 부분 관측 게임의 최소최대 회귀율은 관측 가능성 조건에 따라 네 가지 영역으로 분류된다: $0$, $\tilde{\Theta}(n^{1/2})$, $\tilde{\Theta}(n^{2/3})$, 또는 $\Omega(n)$.
• IDS는 초모수 조정 없이 네 영역 모두에서 로그 인자까지 최적의 회귀율을 달성한다.
• 전역적으로 관측 가능한 게임의 경우 최소최대 회귀율은 $\tilde{\Theta}(n^{2/3})$ 이며, IDS는 이 비율을 정확히 따라간다.
• 국소적으로 관측 가능한 게임의 경우 최소최대 회귀율은 $\tilde{\Theta}(n^{1/2})$ 이며, IDS는 이 비율을 달성한다.
• 국소적으로 관측되지 않는 게임의 경우 IDS는 $\tilde{O}(n^{2/3})$ 회귀율을 달성하며, 이는 로그 인자까지 하한값과 일치한다.
• IDS 알고리즘은 문맥적 및 커널 기반 설정으로 일반화되며, 근사 최적의 회귀 성능을 유지한다.