[논문 리뷰] Regret Lower Bound and Optimal Algorithm in Finite Stochastic Partial Monitoring

Junpei Komiyama, Junya Honda외 1명|arXiv (Cornell University)|2015. 09. 30.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 4

한 줄 요약

이 논문은 유한한 스토하스틱 부분 모니터링에 대해 분포에 의존하는 손실 하한을 수립하고, 다중 암초 밴딧의 DMED 알고리즘을 영감으로 삼아 PM-DMED를 제안한다. 또한 유도된 하한과 정확히 일치하는 渐近적으로 최적의 손실 상한을 달성하는 PM-DMED-Hinge를 도입하여, 어려운 문제와 쉬운 문제 모두에서 최적의 상수 요소를 갖춘 첫 번째 알고리즘이다.

ABSTRACT

Partial monitoring is a general model for sequential learning with limited feedback formalized as a game between two players. In this game, the learner chooses an action and at the same time the opponent chooses an outcome, then the learner suffers a loss and receives a feedback signal. The goal of the learner is to minimize the total loss. In this paper, we study partial monitoring with finite actions and stochastic outcomes. We derive a logarithmic distribution-dependent regret lower bound that defines the hardness of the problem. Inspired by the DMED algorithm (Honda and Takemura, 2010) for the multi-armed bandit problem, we propose PM-DMED, an algorithm that minimizes the distribution-dependent regret. PM-DMED significantly outperforms state-of-the-art algorithms in numerical experiments. To show the optimality of PM-DMED with respect to the regret bound, we slightly modify the algorithm by introducing a hinge function (PM-DMED-Hinge). Then, we derive an asymptotically optimal regret upper bound of PM-DMED-Hinge that matches the lower bound.

연구 동기 및 목표

• 유한한 스토하스틱 부분 모니터링 문제에 대해 분포에 의존하는 손실 하한을 수립하는 것.
• 다중 암초 밴딧의 DMED 알고리즘을 영감으로 삼아 분포에 의존하는 손실를 최소화하는 알고리즘을 개발하는 것.
• PM-DMED의 수정된 버전인 PM-DMED-Hinge를 설계하여 渐近적으로 최적의 손실 성능을 달성하는 것.
• 수치 실험에서 PM-DMED가 기존 최고 수준의 알고리즘보다 뚜렷이 뛰어나게 성능을 발휘함을 경험적으로 보여주는 것.
• 특히 어려운 문제에 대해 알려진 손실 하한과 상한 사이의 격차를 좁히는 것.

제안 방법

• Kullback-Leibler 발산과 피드백 및 손실 구조의 기하학적 성질에 기반하여 로그형 손실 하한을 유도한다.
• 실제 결과 분포와 추정된 분포 간의 데이터 기반 발산 측정치를 최소화하는 방식으로 행동을 선택하는 PM-DMED를 제안하며, 이는 밴딧 문제에서의 DMED와 유사하다.
• PM-DMED-Hinge에서 탐색을 정밀하게 조정하고 추정된 분포에 대한 더 탴튼한 농도 한계를 보장하기 위해 힌지 함수를 도입한다.
• 다양한 사건들(예: $ abla$, $ abla^c$, $ abla^c$)으로 손실를 분해하고, 대규모 편차 한계를 적용하여 그 확률을 통제한다.
• 농도 부등식과 발산 기반 신뢰 구간을 적용하여, 열등한 행동이 드물게 선택되도록 보장한다.
• 추정 오차가 열등한 행동 선택으로 이어지는 사건 집합을 신중하게 분석하여, 그 총 확률이 $\mathrm{O}(1)$임을 증명한다.

실험 결과

연구 질문

• RQ1 유한한 스토하스틱 부분 모니터링에서 분포에 의존하는 손실의 본질적 한계(하한)는 무엇인가?
• RQ2 이 하한을 渐近적으로 달성할 수 있는 알고리즘을 설계할 수 있는가?
• RQ3 실제로 수치 실험에서 기존 방법보다 뚜렷이 뛰어나게 성능을 발휘하는 알고리즘이 존재하는가?
• RQ4 손실의 주요 로그 항의 상수 요소를 최소화할 수 있는가?
• RQ5 피드백 및 손실 함수의 구조는 최적의 손실 속도에 어떻게 영향을 미치는가?

주요 결과

• 유한한 스토하스틱 부분 모니터링에 대해 로그형 분포에 의존하는 손실 하한이 도출되었으며, 이는 기존 다중 암초 밴딧 결과를 일반화한다.
• PM-DMED는 다양한 문제 인스턴스에서 수치 실험에서 최고 수준의 기존 방법보다 뚜렷이 뛰어난 성능을 보이는 실용적인 알고리즘으로 제안된다.
• PM-DMED-Hinge는 유도된 하한과 정확히 일치하는 渐近적으로 최적의 손실 상한을 달성하여 그 최적성은 입증된다.
• 이 알고리즘은 어려운 문제와 쉬운 문제 모두에서 주요 로그 항의 최적 상수 요소를 달성하는 데 있어 최초의 알고리즘이다.
• 추정 오차로 인해 열등한 행동이 선택되는 총 확률은 $\mathrm{O}(1)$로 유계이며, 이는 비선형 손실 성장 보장을 보장한다.
• 분석을 통해 PM-DMED-Hinge의 힌지 함수가 탴튼한 농도와 하한과의 일치를 달성하는 데 필수적임을 확인한다.