[論文レビュー] Bandit Convex Optimization in Non-stationary Environments

Peng Zhao, Guanghui Wang+2 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Bandit Algorithms Research被引用数 1

ひとこと要約

本稿では、非定常環境におけるバンドイット凸最適化（BCO）のための新しい適応的アルゴリズムを提案する。1点フィードバックの場合、動的リグレット境界は$O(T^{3/4}(1+P_T)^{1/2})$、2点フィードバックの場合、$O(T^{1/2}(1+P_T)^{1/2})$を達成し、後者は既知の下界と一致する。アルゴリズムは、パス長$P_T$の事前知識を必要としないため、未知の非定常性に適応可能である。

ABSTRACT

Bandit Convex Optimization (BCO) is a fundamental framework for modeling sequential decision-making with partial information, where the only feedback available to the player is the one-point or two-point function values. In this paper, we investigate BCO in non-stationary environments and choose the \emph{dynamic regret} as the performance measure, which is defined as the difference between the cumulative loss incurred by the algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path-length of the comparator sequence that reflects the non-stationarity of environments. We propose a novel algorithm that achieves $O(T^{3/4}(1+P_T)^{1/2})$ and $O(T^{1/2}(1+P_T)^{1/2})$ dynamic regret respectively for the one-point and two-point feedback models. The latter result is optimal, matching the $\Omega(T^{1/2}(1+P_T)^{1/2})$ lower bound established in this paper. Notably, our algorithm is more adaptive to non-stationary environments since it does not require prior knowledge of the path-length $P_T$ ahead of time, which is generally unknown.

研究の動機と目的

• 部分的フィードバック下での非定常環境における逐次的意思決定の課題に対処すること。
• コンパレータ列が時間とともに変化する可能性があるBandit Convex Optimization（BCO）の動的リグレット最小化フレームワークを構築すること。
• パス長$P_T$の事前知識が不要な状況でも環境の非定常性に適応可能なアルゴリズムを設計すること。
• 時間区間$T$とパス長$P_T$の両方を反映した、環境のダイナミクスを捉えたタイトなリグレット境界を確立すること。

提案手法

• アルゴリズムは、観測されたフィードバックに基づいて、探索と更新ルールを動的に調整する新しい適応的オンライン学習フレームワークを採用する。
• フィードバックモデルに応じて、勾配推定に1点または2点の関数評価を用いることで、完全な勾配情報がなくても最適化を可能にする。
• 主なイノベーションは、推定されたパス長に応じてスケーリングされる適応的ステップサイズと探索戦略であり、$P_T$の事前知識が不要である。
• 非定常設定における関数の曲率の安定的かつ正確な近似を維持するために、再帰的推定技術を活用する。
• 理論的分析では、集中不等式とパス長依存正則化を組み合わせて、動的リグレットの境界を導出する。
• コンパレータ列の実際の変動に適応できるように、探索と活用のバランスを取ることで、最適なリグレットを達成する。

実験結果

リサーチクエスチョン

• RQ1 パス長$P_T$の事前知識がなくても、非定常環境で最適な動的リグレットを達成するBCOアルゴリズムを設計できるか？
• RQ2 非定常設定下で1点フィードバックおよび2点フィードバックのBCOに対して、達成可能な最もタイトな動的リグレット境界は何か？
• RQ3 パス長$P_T$はBCOにおける動的リグレットにどのように影響し、アルゴリズムの適応性向上に利用できるか？
• RQ4 非定常環境下でのBCOにおける動的リグレットに根本的な下界は存在するか？ そして、その下界を満たすアルゴリズムは存在するか？

主な発見

• 提案されたアルゴリズムは、1点フィードバックモデルにおいて$O(T^{3/4}(1+P_T)^{1/2})$の動的リグレットを達成する。
• 2点フィードバックモデルでは、$O(T^{1/2}(1+P_T)^{1/2})$の動的リグレットを達成し、既に確立された$\\(Omega(T^{1/2}(1+P_T)^{1/2})$の下界と一致する。
• アルゴリズムは非定常性に適応可能である。なぜなら、通常実用的では未知であるパス長$P_T$の事前知識が不要であるためである。
• 理論的分析により、アルゴリズムの性能が時間区間$T$とパス長$P_T$の両方に対して最適にスケーリングされることを確認した。これは環境のダイナミクスを反映している。
• 2点フィードバックの結果は最適であり、上界と導出された下界が一致するため、リグレット境界のタイトさが裏付けられている。
• 従来の$P_T$の知識を必要とするBCO手法と比較して、非定常環境下でのロバストネスと適応性が向上している。