[論文レビュー] Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs

Chung‐Wei Lee, Haipeng Luo+2 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本論文は、学習率を段階的に増加させ、対数的同次自己調和的バリアを用いた不偏推定器を用いることで、敵対的バンディットおよびMDPにおける高確率的レギュレートバウンドを達成する、新規で単純なアプローチを提示する。この手法は、敵対的線形バンディットおよびマルコフ決定過程における未解決の問題を解消するデータ依存のレギュレートバウンドを達成し、これらの設定に対して、初めての効率的で高確率的な小損失バウンドを提供する。

ABSTRACT

We develop a new approach to obtaining high probability regret bounds for online learning with bandit feedback against an adaptive adversary. While existing approaches all require carefully constructing optimistic and biased loss estimators, our approach uses standard unbiased estimators and relies on a simple increasing learning rate schedule, together with the help of logarithmically homogeneous self-concordant barriers and a strengthened Freedman's inequality. Besides its simplicity, our approach enjoys several advantages. First, the obtained high-probability regret bounds are data-dependent and could be much smaller than the worst-case bounds, which resolves an open problem asked by Neu (2015). Second, resolving another open problem of Bartlett et al. (2008) and Abernethy and Rakhlin (2009), our approach leads to the first general and efficient algorithm with a high-probability regret bound for adversarial linear bandits, while previous methods are either inefficient or only applicable to specific action sets. Finally, our approach can also be applied to learning adversarial Markov Decision Processes and provides the first algorithm with a high-probability small-loss bound for this problem.

研究の動機と目的

• Neu (2015) が提起した、敵対的バンディットにおけるデータ依存の高確率的レギュレートバウンドを達成するという未解決問題に取り組む。
• Bartlettら (2008) および Abernethy と Rakhlin (2009) が提起した、敵対的線形バンディットにおける効率的で高確率的なレギュレートバウンドを達成するという未解決問題を解消する。
• フレームワークを敵対的マルコフ決定過程（MDP）に拡張し、この設定に対して初めての高確率的小損失バウンドを提供する。
• 複雑なバイアス付きまたは楽観的損失推定器を必要としない、一般的かつ効率的なアルゴリズム的手法を開発する。
• データ依存の性質を活用することで、最悪ケースのバウンドよりもタイトでより適応的な理論的保証を提供する。

提案手法

• 設計および解析を簡素化するために、バイアス付きまたは楽観的な推定器を構築するのではなく、標準的な不偏損失推定器を採用する。
• オンライン更新における分散の制御と適応性の向上を図るため、単純な段階的学習率スケジュールを用いる。
• 最適化プロセスにおける強い集中性を保証するために、対数的同次自己調和的バリアを活用する。
• 敵対的フィードバック下での高確率的バウンドを導出するために、Freedmanの不等式の強化版を適用する。
• 上記の要素を統合し、バンディットフィードバックおよびMDP設定の両方に適用可能な統一されたフレームワークを構築する。
• 高価なプロジェクションや複雑な推定スキームを避けることで、アルゴリズムの計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 敵対的バンディットにおける高確率的レギュレートバウンドを、バイアス付きまたは楽観的推定器に依存せずに、データ依存性にできるか？
• RQ2 一般の行動集合に対して、敵対的線形バンディットにおける効率的アルゴリズムで高確率的レギュレートバウンドを達成できるか？
• RQ3 フレームワークを敵対的MDPに拡張し、この問題設定に対して初めての高確率的小損失レギュレートバウンドを達成できるか？
• RQ4 段階的学習率スケジュールと自己調和的バリアが、集中性およびレギュレートバウンドの改善にどのように作用するか？
• RQ5 不偏推定器を用いることで、最悪ケースの保証に比べて、どれほどタイトでデータ依存のレギュレートバウンドを達成できるか？

主な発見

• 提案手法は、Neu (2015) が提起した未解決問題を解消するデータ依存の高確率的レギュレートバウンドを達成し、最悪ケースのバウンドよりも顕著に小さいものとなる。
• 敵対的線形バンディットにおける、一般的かつ効率的なアルゴリズムで高確率的レギュレートバウンドを達成する初めての手法を提供し、従来の手法が特定の行動集合に制限されたり、非効率的だったという制限を克服する。
• フレームワークは敵対的MDPに成功裏に拡張され、この問題設定に対して初めての高確率的小損失レギュレートバウンドを達成する。
• 不偏推定器と単純な段階的学習率の組み合わせにより、複雑なバイアス補正や楽観的推定の必要がなくなり、実装および解析が簡素化される。
• 対数的同次自己調和的バリアと強化されたFreedmanの不等式の活用により、集中性がタイトに保たれ、レギュレート保証が向上する。
• 理論的結果は、レギュレートバウンドがデータに適応することを示しており、最悪ケース保証を犠牲にすることなく、有利なデータ環境下でより優れた性能を達成できることを示している。