[論文レビュー] Recursive Experts: An Efficient Optimal Mixture of Learning Systems in Dynamic Environments

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Sep 19, 2020

Advanced Bandit Algorithms Research参考文献 47被引用数 6

ひとこと要約

本稿では、動的環境においてミニマックス最適なリグレットを達成する、1つの適応的アルゴリズムに複数の逐次学習システムを効率的に統合するための新規フレームワーク「Recursive Experts」を提案する。対数的計算コストの増加で済むハイパーエキスパートを再帰的に組み合わせることで、環境が任意かつ予測不能に変化しても、$O(C^\alpha T^{1-\alpha})$ のリグレットを達成し、定数要因を除いて理論的下界に一致する。

ABSTRACT

Sequential learning systems are used in a wide variety of problems from decision making to optimization, where they provide a 'belief' (opinion) to nature, and then update this belief based on the feedback (result) to minimize (or maximize) some cost or loss (conversely, utility or gain). The goal is to reach an objective by exploiting the temporal relation inherent to the nature's feedback (state). By exploiting this relation, specific learning systems can be designed that perform asymptotically optimal for various applications. However, if the framework of the problem is not stationary, i.e., the nature's state sometimes changes arbitrarily, the past cumulative belief revision done by the system may become useless and the system may fail if it lacks adaptivity. While this adaptivity can be directly implemented in specific cases (e.g., convex optimization), it is mostly not straightforward for general learning tasks. To this end, we propose an efficient optimal mixture framework for general sequential learning systems, which we call the recursive experts for dynamic environments. For this purpose, we design hyper-experts that incorporate the learning systems at our disposal and recursively merge in a specific way to achieve minimax optimal regret bounds up to constant factors. The multiplicative increases in computational complexity from the initial system to our adaptive system are only logarithmic-in-time factors.

研究の動機と目的

• 従来の逐次学習システムが古くなった信念更新により失敗する、非定常的かつ動的に変化する環境で最適なパフォーマンスを維持する課題に対処すること。
• 問題固有の再設計を必要とせず、複数の学習システムを適応的に統合する汎用フレームワークを設計すること。
• ベースの学習システムに比べて対数的計算コスト増加のみを伴い、動的環境においてミニマックス最適なリグレットバウンドを達成すること。
• ハイパーエキスパートが環境の変化にリアルタイムで再構成・応答できる再帰的統合メカニズムを開発すること。

提案手法

• フレームワークは、適応性を維持するために木構造的な階層的構造を用いて、複数のベース学習システムを再帰的に統合するハイパーエキスパートを導入する。
• 各時間ス egment が $O(t_c^{1-\alpha})$ のリグレットを持つベースアルゴリズムで処理される時間セグメント化アプローチを採用し、局所最適性を保証する。
• 2の累乗の時間間隔を用いて、探索と適応のバランスを取る再帰的統合戦略により、異なる時間スケールでのベースアルゴリズムの出力を統合する。
• 混合性能とベースアルゴリズム性能を組み合わせることで、混合リグレットの冗長性が $O(\sqrt{CT})$、総リグレットが $O(C^\alpha T^{1-\alpha})$ に抑えられ、全体のバウンドが決定づけられる。
• 環境の変化に基づき、信念システムを動的にリセットおよび再構成することで、古くなった信念がパフォーマンスを低下させないよう保証する。
• 理論的分析により、総リグレットが定数要因を除いてミニマックス最適であることが証明され、計算複雑性は $\log(T)$ 要因のみ増加する。

実験結果

リサーチクエスチョン

• RQ1 最小限の計算コスト増加で、動的環境において複数の逐次学習システムを最適に統合できる汎用フレームワークを設計できるか？
• RQ2 環境が任意の非定常的変化を受ける状況でも、ミニマックス最適なリグレットバウンドを維持する方法は何か？
• RQ3 どの再帰的統合戦略が、個々のベースアルゴリズムのリグレット性能を保ちながら、効率的な適応を可能にするか？
• RQ4 非定常設定において最適なリグレットを維持しつつ、適応的学習の計算コストをどの程度まで低減できるか？

主な発見

• Recursive Experts アルゴリズムは、既知の時間枠 $T$ と $C$ 個の変化点に対して、$O(C^\alpha T^{1-\alpha})$ のリグレットを達成し、定数要因を除いて理論的下界に一致する。
• 計算複雑性はベースの学習システムに比べて $\log(T)$ 要因のみ増加し、非常に効率的である。
• 混合部成分のリグレットは $O(\sqrt{CT})$、ベースアルゴリズム部成分のリグレットは $O(C^\alpha T^{1-\alpha})$ であり、後者が支配的で全体のバウンドを決定づける。
• フレームワークは動的環境においてミニマックス最適であり、非適応的または単純に統合されたシステムよりも非定常設定で優れたパフォーマンスを示す。
• 再帰的統合メカニズムにより、環境の変化後も信念更新が関連性を保ち、蓄積的更新の古さによる停滞を回避する。
• 本手法はさまざまな学習システムに一般化可能であり、問題固有のチューニングを必要とせず、逐次意思決定およびオンライン学習タスクに広く適用可能である。