[논문 리뷰] Mirror Descent and the Information Ratio

Tor Lattimore, András György|arXiv (Cornell University)|2020. 09. 25.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 8

한 줄 요약

이 논문은 미러 강하(mirror descent)와 정보 비율(information ratio) 사이의 이론적 연결을 수립하여, 미러 강하의 안정성 한계가 정보 지향 샘플링(information-directed sampling)과 일치하는 손해 한계를 유도함을 보여준다. 이는 $d$-armed 적대적 밴디트(adversarial bandits)에 대해 효율적인 알고리즘을 제시하며, 손해 $\\mathfrak{R}_n \leq \sqrt{2dn}$을 달성한다. 이는 알려진 최상의 정보 이론적 상한과 일치한다.

ABSTRACT

We establish a connection between the stability of mirror descent and the information ratio by Russo and Van Roy [2014]. Our analysis shows that mirror descent with suitable loss estimators and exploratory distributions enjoys the same bound on the adversarial regret as the bounds on the Bayesian regret for information-directed sampling. Along the way, we develop the theory for information-directed sampling and provide an efficient algorithm for adversarial bandits for which the regret upper bound matches exactly the best known information-theoretic upper bound.

연구 동기 및 목표

• 정보 비율과 미러 강하 사이의 다리를 놓고, 비구성적 정보 이론적 한계를 명시적이고 안정적인 온라인 학습 알고리즘으로 번역하는 것.
• 편향 없는 손실 추정기와 탐색 분포를 사용한 미러 강하를 통해 적대적 밴디트 손실 최소화를 위한 구성적 접근법을 개발하는 것.
• 손해가 알려진 최상의 정보 이론적 상한과 일치하는 유한한 암시 공간을 갖는 밴디트에 대해 효율적인 알고리즘을 유도하는 것.
• 최소화된 손실의 비율이 $\Theta(n^{1/2})$가 아닌 경우나 적응형 손실 한계를 위한 정보 이론적 기반 기반의 일반화를 시도하는 것.
• 제로 순서 밴디트 볼록 최적화를 위한 향상된 알고리즘으로의 길을 제시하는 것.

제안 방법

• 최소-최대 이중성과 정보 이론적 분석을 사용하여 정보 비율과 미러 강하의 안정성 간의 연결을 수립한다.
• 편향이 없고 손해를 유한하게 유지하는 특별한 손실 추정기 $g(a,\sigma)_b$를 사용해 미러 강하를 적용한다.
• 안정성과 손해를 제어하기 위해 Bregman 발산 $\Psi_q$ 기반의 정규화 함수를 사용한다.
• 추정 함수의 대수적 조작과 코시-슈바르츠 부등식을 통해 안정성 항을 유한하게 제한함으로써 손해 한계를 도출한다.
• 미러 강하에서 $P_t = Q_t$를 유지하면서도 손해 한계를 유지할 수 있도록 하는 새로운 손실 추정 함수를 도입한다.
• 적절한 가정 하에 구성의 타당성을 보장하기 위해 Sion의 최소-최대 정리와 볼록 분석을 활용한다.

실험 결과

연구 질문

• RQ1 베이지안 손실 분석에서 사용된 정보 이론적 기반 기반을 온라인 학습의 구성적 프레임워크로 번역할 수 있는가?
• RQ2 적절한 손실 추정기와 탐색 분포를 갖춘 미러 강하가 정보 지향 샘플링과 동일한 손해 한계를 달성하는가?
• RQ3 미러 강하의 안정성과 정보 비율을 연결하여 날카로운 적대적 손해 한계를 도출할 수 있는가?
• RQ4 정보 이론적 상한과 일치하는 손해를 갖는 효율적인 알고리즘을 적대적 밴디트 문제에 설계할 수 있는가?
• RQ5 제안된 프레임워크를 무한한 액션 공간이나 볼록 밴디트 문제로 확장할 수 있는가?

주요 결과

• 논문은 정보 비율에 대한 한계가 미러 강하와 팔로우-더-레귤라이즈드-리더(follow-the-regularized-leader)의 안정성 한계로 이어짐을 입증하여, 구성적 손해 분석을 가능하게 한다.
• 손해 $\\mathfrak{R}_n \leq \sqrt{2dn}$을 갖는 $d$-armed 적대적 밴디트에 대해 효율적인 알고리즘을 구성하였으며, 이는 알려진 최상의 정보 이론적 상한과 일치한다.
• 손실 추정 함수 $g(a,\sigma)_b$가 편향이 없고, $P_t = Q_t$를 유지하는 안정적인 미러 강하 업데이트를 이끌어내는 것으로 입증되었다.
• 손해 한계의 안정성 항은 새로운 대수적 및 코시-슈바르츠 기반의 추론을 통해 $\\frac{\eta\sqrt{d}}{4}$로 유한하게 제한된다.
• 복잡한 줌인 또는 리셋 메커니즘을 피하는 등, 이전 접근법에 비해 더 단순한 볼록 밴디트 분석을 제공한다.
• 최소화된 손실의 비율이 $\Theta(n^{1/2})$가 아닌 경우에도 프레임워크가 일반화되어 적응형 손해 한계를 가능하게 한다.