[논문 리뷰] Bandit algorithms: Letting go of logarithmic regret for statistical robustness

Kumar Ashutosh, Jayakrishnan Nair외 2명|arXiv (Cornell University)|2020. 06. 22.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 확률적 다중 손잡이 밴딧에서 기본적인 상충 관계를 규명한다: 로그 규제를 달성하는 알고리즘은 통계적으로 취약한 반면, 통계적으로 강건한 알고리즘은 약간 초과 로그 규제를 감수해야 한다. 저자들은 분포에 민감하지 않은 알고리즘 세 종류를 제안하여, 신뢰 구간에 천천히 증가하는 스케일링 함수를 사용함으로써 渐近적으로 근접한 로그 규제를 달성한다. 이는 분포 매개변수에 대한 사전 지식 없이도 다양한 분포에 걸쳐 일관성을 보장한다.

ABSTRACT

We study regret minimization in a stochastic multi-armed bandit setting and establish a fundamental trade-off between the regret suffered under an algorithm, and its statistical robustness. Considering broad classes of underlying arms' distributions, we show that bandit learning algorithms with logarithmic regret are always inconsistent and that consistent learning algorithms always suffer a super-logarithmic regret. This result highlights the inevitable statistical fragility of all `logarithmic regret' bandit algorithms available in the literature---for instance, if a UCB algorithm designed for $\\sigma$-subGaussian distributions is used in a subGaussian setting with a mismatched variance parameter, the learning performance could be inconsistent. Next, we show a positive result: statistically robust and consistent learning performance is attainable if we allow the regret to be slightly worse than logarithmic. Specifically, we propose three classes of distribution oblivious algorithms that achieve an asymptotic regret that is arbitrarily close to logarithmic.

연구 동기 및 목표

• 로그 규제를 달성하는 밴딧 알고리즘의 통계적 강건성에 대해 조사한다.
• 로그 규제 알고리즘이 분포가 일치하지 않을 경우(예: σ′-서브가우시안 인스턴스에 σ-서브가우시안 알고리즘을 적용할 경우, σ′ > σ) 본질적으로 일관성이 없음을 입증한다.
• 분포 매개변수에 대한 사전 지식 없이도 통계적으로 강건하고 渐近적으로 로그에 근접한 규제를 달성하는 알고리즘을 설계한다.
• 보상 분포에 대한 노이즈가 있는 사전 정보를 어떻게 규제 스케일링 함수에 통합할 수 있는지 탐색한다. 이를 통해 단기 성능을 향상시킬 수 있다.

제안 방법

• 신뢰 구간에 천천히 증가하는 스케일링 함수 f(t)를 사용하는 분포에 민감하지 않은 밴딧 알고리즘 세 종류를 제안하여 규제 성장률을 제어한다.
• f(t) = c + h(t) 형태를 사용하는 R-UCB 및 R-UCB-G 알고리즘을 설계하며, h(t)는 천천히 증가하는 함수(예: log^α(t))로 하여 渐近적 규제와 강건성 사이의 균형을 이룬다.
• 서브가우시안 매개변수에 대한 노이즈가 있는 사전 정보를 f(t)에 통합하기 위해 f(t) = c + log(t)로 설정하며, c는 사전 추정치(예: σ ≈ 8)를 반영하도록 선택하여 단기 성능을 향상시킨다.
• 이론적 분석을 통해 규제가 渐近적으로 O(f(t))로 스케일링되며, f(t)가 t의 어떤 거듭제곱보다도 느리게 증가하므로 광범위한 분포 클래스에 걸쳐 일관성이 보장됨을 보여준다.
• 모든 로그 규제를 갖는 알고리즘은 분포 불일치 상황에서 일관성이 없으며, 일관성 있는 알고리즘은 반드시 초과 로그 규제를 겪어야 한다는 것을 입증한다.
• 실제로 규제 상한이 너무 유리하게 설정되어 있음을 보여주며, 실험 결과는 실제 규제가 이론적 상한보다 크게 낮음을 보여준다.

실험 결과

연구 질문

• RQ1 로그 규제를 달성하는 밴딧 알고리즘은 가정한 파rametric 클래스 외부의 분포에 적용될 때도 일관성을 유지할 수 있는가?
• RQ2 분포 매개변수에 대한 사전 지식 없이도 통계적으로 강건하고 渐近적으로 로그에 근접한 규제를 달성하는 밴딧 알고리즘을 설계할 수 있는가?
• RQ3 보상 분포에 대한 노이즈가 있는 사전 정보를 강건한 밴딧 알고리즘의 규제 스케일링 함수에 통합할 경우 단기 규제에 어떤 영향을 미치는가?
• RQ4 신뢰 구간 기반 밴딧 알고리즘에서 스케일링 함수 f(t)의 증가율과 그로 인한 규제 및 강건성 간의 상충 관계는 무엇인가?

주요 결과

• 로그 규제 알고리즘은 통계적으로 취약하다: 일치하지 않는 분포(예: σ′-서브가우시안, σ′ > σ)에 적용될 경우 거듭제곱 법칙 규제 스케일링을 겪을 수 있으며, 이는 일관성이 없음을 시사한다.
• 통계적 강건성과 로그 규제 간에는 상호 배타적 관계가 존재한다: 일관성 있는 알고리즘은 반드시 초과 로그 규제를 겪어야 한다.
• 제안된 R-UCB 및 R-UCB-G 알고리즘은 log^1.6(t) 또는 log^2(t)와 같은 천천히 증가하는 스케일링 함수 f(t)를 사용함으로써 渐近적으로 로그에 근접한 규제를 달성한다.
• 실험 결과는 f(t)가 더 빨리 증가할수록 渐近적으로 누적 규제가 더 높아지는 것으로 나타나, 이론적 기대와 일치함을 확인한다.
• f(t)에 노이즈가 있는 사전 정보를 통합함으로써, 예를 들어 σ ≈ 8를 기반으로 f(t) = 512 + log(t)로 설정하면 f(t) = log(t)인 경우보다 단기 규제가 감소하지만 강건성은 유지된다.
• 시뮬레이션에서 관측된 규제 값은 이론적 상한보다 크게 낮게 나타나, 현재의 규제 상한이 실생활에서는 유리하게 설정되어 있음을 시사한다.