[논문 리뷰] Online Learning with Gaussian Payoffs and Side Observations

Yifan Wu, András György외 1명|arXiv (Cornell University)|2015. 10. 27.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 9

한 줄 요약

이 논문은 가우시안 보상과 측면 관찰을 갖는 새로운 온라인 학습 프레임워크를 제안하며, 피드백 품질이 행동 쌍에 따라 분산을 통해 달라진다. 이는 부분 관찰 및 그래프 구조화된 피드백 설정에서 이전 결과들을 통합하고 향상시키며, 비점근적 문제 의존적 리그레트 하한을 처음으로 확립하고, 이러한 하한에 상수 요인 이내로 도달하는 알고리즘을 제안한다.

ABSTRACT

We consider a sequential learning problem with Gaussian payoffs and side information: after selecting an action $i$, the learner receives information about the payoff of every action $j$ in the form of Gaussian observations whose mean is the same as the mean payoff, but the variance depends on the pair $(i,j)$ (and may be infinite). The setup allows a more refined information transfer from one action to another than previous partial monitoring setups, including the recently introduced graph-structured feedback case. For the first time in the literature, we provide non-asymptotic problem-dependent lower bounds on the regret of any algorithm, which recover existing asymptotic problem-dependent lower bounds and finite-time minimax lower bounds available in the literature. We also provide algorithms that achieve the problem-dependent lower bound (up to some universal constant factor) or the minimax lower bounds (up to logarithmic factors).

연구 동기 및 목표

• 행동 쌍에 따라 분산 매개변수를 통해 피드백 품질이 달라지는 가우시안 보상과 측면 관찰을 갖는 새로운 온라인 학습 모델을 체계화하는 것.
• 완전 정보 설정을 초월한 스 tochastic partial monitoring에 대해, 비점근적 문제 의존적 리그레트 하한을 처음으로 유도하는 것.
• 이 하한에 상수 요인 이내로 도달하는 알고리즘을 설계하고, 최소 최대 리그레트 비율에 상수 요인 이내로 일치시키는 것.
• 비자기 관찰 가능성을 允허하고 피드백 품질을 다양하게 허용함으로써 이전의 그래프 구조화된 피드백 모델을 일반화하는 것.
• 기존의 점근적 문제 의존적 하한과 유한 시간 성능 보장 사이의 격차를 메우는 것.

제안 방법

• 모델은 행동 $i$를 선택할 경우 모든 행동 $j$에 대해 평균이 $\theta_j$이고 분산이 $\sigma^2_{ij}$인 가우시안 측면 관찰을 제공하며, 이는 피드백 품질의 다양성을 허용한다.
• 논문은 보상 차이와 관찰 분산에 따라 의존하는 비점근적 문제 의존적 리그레트 하한을 도출하며, 이는 이전의 점근적 및 최소 최대 하한을 특수 케이스로 포함한다.
• 핵심 기술적 구성 요소로는 농도 부등식과 분산에 의존하는 정보 하한을 사용하여 관찰 품질, 시간 수평, 추정 정확도 간의 상호작용을 분석하는 것이다.
• 첫 번째 알고리즘은 문제 독립적 상수 요인 이내로 점근적 문제 의존적 리그레트를 달성하며, 하한과 일치한다.
• 두 번째 알고리즘은 강한 관찰 가능성과 약한 관찰 가능성 조건 하에서 최소 최대 리그레트를 로그 인자에 상수 요인 이내로 달성하며, $O(\log^{3/2}T)$ 문제 의존적 리그레트를 갖는다.
• 분석은 이벤트 집합 $V_r$ 및 $V_r^c$ 기반의 단계로 리그레트를 분해하고, 각 행동당 최소 관찰 수에 대한 경계를 사용하여 리그레트 성장을 통제한다.

실험 결과

연구 질문

• RQ1 행동 쌍에 따라 피드백 품질이 달라지는 가우시안 보상과 측면 관찰을 갖는 온라인 학습에서 리그레트의 기본 한계는 무엇인가?
• RQ2 완전 정보 설정을 초월한 스 tochastic partial monitoring에 대해 비점근적 문제 의존적 리그레트 하한을 도출할 수 있는가?
• RQ3 문제 의존 설정에서 이러한 하한에 상수 요인 이내로 도달하는 알고리즘이 존재하는가?
• RQ4 이 일반화된 피드백 모델에서 강한 관찰 가능성과 약한 관찰 가능성 조건 하에서 최소 최대 리그레트는 어떻게 스케일링되는가?
• RQ5 제안된 프레임워크는 기존의 그래프 구조화된 피드백 및 부분 관찰 결과들을 통합하고 향상시킬 수 있는가?

주요 결과

• 논문은 가우시안 보상과 측면 관찰을 갖는 스 tochastic partial monitoring에 대해 비점근적 문제 의존적 리그레트 하한을 처음으로 확립한다.
• 이 하한은 기존의 점근적 문제 의존적 하한과 유한 시간 최소 최대 하한을 상수 요인 이내로 포함한다.
• 제안된 알고리즘은 문제 의존적 하한에 상수 요인 이내로 도달하며, 극한에서 점근적 하한과 일치한다.
• 다른 알고리즘은 강한 관찰 가능성과 약한 관찰 가능성 조건 하에서 최소 최대 리그레트를 로그 인자에 상수 요인 이내로 달성한다.
• 두 번째 알고리즘의 문제 의존적 리그레트는 $O(\log^{3/2}T)$이며, 이는 이전 결과들보다 향상되었으며, 점근적 하한이나 최소 최대 비율을 충족하지 못했던 것을 개선한다.
• 분석 결과 시간 수평 $T$는 최종 리그레트 하한에서 상수로 대체될 수 있으며, 이는 중요한 결정 라운드의 수가 $T$에 독립적으로 유계임을 시사한다.