[論文レビュー] Efficient Constrained Regret Minimization

Mehrdad Mahdavi, Tianbao Yang+1 more|arXiv (Cornell University)|May 8, 2012

Advanced Bandit Algorithms Research参考文献 22被引用数 8

ひとこと要約

本稿では、敵対的フィードバック下での意思決定列の制約を満たしつつ、レギュレートを効率的に最小化する、プリミナル・デュアルなオンライン学習手法であるラグランジュ指数加重平均（LEWA）アルゴリズムを提案する。ラグランジュ緩和と適応的デュアル変数を活用することで、LEWAは完全情報設定下で$\tilde{O}(\sqrt{T})$のレギュレートと$O(T^{3/4})$の期待制約違反を達成する。高確率の境界はバンドイットフィードバックモデルへ拡張可能である。

ABSTRACT

Online learning constitutes a mathematical and compelling framework to analyze sequential decision making problems in adversarial environments. The learner repeatedly chooses an action, the environment responds with an outcome, and then the learner receives a reward for the played action. The goal of the learner is to maximize his total reward. However, there are situations in which, in addition to maximizing the cumulative reward, there are some additional constraints on the sequence of decisions that must be satisfied on average by the learner. In this paper we study an extension to the online learning where the learner aims to maximize the total reward given that some additional constraints need to be satisfied. By leveraging on the theory of Lagrangian method in constrained optimization, we propose Lagrangian exponentially weighted average (LEWA) algorithm, which is a primal-dual variant of the well known exponentially weighted average algorithm, to efficiently solve constrained online decision making problems. Using novel theoretical analysis, we establish the regret and the violation of the constraint bounds in full information and bandit feedback models.

研究の動機と目的

• 敵対的フィードバック下で累積報酬の最大化と平均的制約の満足を同時に満たすオンライン意思決定問題に対処すること。
• 逐次的意思決定におけるレギュレート最小化と制約準拠の両立を図る、原理的で整合性のあるアルゴリズムフレームワークの構築。
• ラグランジュ双対性を用いて制約を扱うことで、既存のオンライン学習手法を拡張し、効率的かつ理論的根拠に基づく解決策を可能にすること。
• 完全情報およびバンドイットフィードバックモデルの両設定において、レギュレートと制約違反の期待値および高確率の性能境界を確立すること。

提案手法

• 制約処理のためのラグランジュ緩和を統合した、指数加重平均（EWA）法のプリミナル・デュアル版としてLEWAアルゴリズムを提案する。
• デュアル変数を用いて制約違反を追跡し、適応的ステップサイズを用いた射影勾配法により更新する。
• 探索と活用のバランスを図るために、EWA分布と一様探索の凸結合による確率的行動選択を採用する。
• バンドイット設定では、部分的フィードバックにおける不確実性を低減するため、報酬および制約の推定値に上限信頼区間を用いる。
• 集中不等式と新規の理論的分析を適用し、レギュレートおよび制約違反の高確率境界を導出する。
• 報酬および制約の信頼区間を組み込んだ、高確率版のLEWAを導入し、部分的フィードバック下でのロバストネスを保証する。

実験結果

リサーチクエスチョン

• RQ1 プリミナル・デュアルなオンライン学習アルゴリズムは、敵対的環境下でサブ線形のレギュレートを達成しつつ、制約違反を有界に保てるか？
• RQ2 ラグランジュ緩和は、報酬最大化と制約満足の両立を図るために、オンライン学習にどのように効果的に統合できるか？
• RQ3 完全情報およびバンドイットフィードバックモデルの両設定において、レギュレートと制約違反にどのような性能保証を設定できるか？
• RQ4 限られた報酬および制約観測の部分的フィードバック下でも、レギュレートおよび制約違反の高確率境界を導出できるか？

主な発見

• LEWAアルゴリズムは、完全情報設定下で$\tilde{O}(\sqrt{T})$のレギュレートと$O(T^{3/4})$の期待制約違反を達成し、最適なレギュレートスケーリングを実現する。
• バンドイットフィードバックモデルでは、$\delta = O(T^{-1/4})$のとき、高確率版のLEWAが$O(T^{7/8})$のレギュレートと$O(T^{7/8})$の制約違反を達成する。
• 理論的分析により、敵対的報酬系列下でもサブ線形のレギュレートと消えるような制約違反を維持することが示された。
• 報酬および制約の信頼区間を統合することで、本手法は部分的フィードバック設定へ自然に拡張され、ロバストネスが保証された。
• 本研究で提示されたフレームワークは、バンドイットフィードバックを伴う制約付きオンライン学習における、レギュレートおよび制約違反の最初の高確率境界を提供する。
• 適応的デュアル更新と確率的行動選択を通じて、実用的な効率性を示し、探索と活用のバランスを図った。