[論文レビュー] Reinforcement Learning Algorithm Selection

Romain Laroche, Raphaël Féraud|arXiv (Cornell University)|Jan 30, 2017

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、エポックごとの確率的バンディットを用いて、オフポリシー強化学習（RL）アルゴリズムを動的に選択するオンライン強化学習（RL）アルゴリズム選択のためのメタアルゴリズムESBASを提案する。この手法は、サンプル効率と性能を向上させ、近似的に最適なレギュレートバウンドを達成し、対話、フルーツ収集、アーケードゲーム（Atari）のタスクにおいて、個々のアルゴリズムを上回る実験的性能を示す。ESBASは、アルゴリズムとステップサイズスケジューリングを適応的に選択することで、性能を向上させる。

ABSTRACT

This paper formalises the problem of online algorithm selection in the context of Reinforcement Learning. The setup is as follows: given an episodic task and a finite number of off-policy RL algorithms, a meta-algorithm has to decide which RL algorithm is in control during the next episode so as to maximize the expected return. The article presents a novel meta-algorithm, called Epochal Stochastic Bandit Algorithm Selection (ESBAS). Its principle is to freeze the policy updates at each epoch, and to leave a rebooted stochastic bandit in charge of the algorithm selection. Under some assumptions, a thorough theoretical analysis demonstrates its near-optimality considering the structural sampling budget limitations. ESBAS is first empirically evaluated on a dialogue task where it is shown to outperform each individual algorithm in most configurations. ESBAS is then adapted to a true online setting where algorithms update their policies after each transition, which we call SSBAS. SSBAS is evaluated on a fruit collection task where it is shown to adapt the stepsize parameter more efficiently than the classical hyperbolic decay, and on an Atari game, where it improves the performance by a wide margin.

研究の動機と目的

• トラジェクトリ収集が高コストなオンラインでエピソード的な設定において、最もサンプル効率の良いRLアルゴリズムを選択する課題に対処すること。
• 試行錯誤によるハイパーパrameterチューニングの限界と、現実世界のRL応用における単一アルゴリズムの非効率性を克服すること。
• 理論的性能保証を伴う、複数のオフポリシーRLアルゴリズム間での強固で適応的かつ公平な選択を可能にするメタアルゴリズムを設計すること。
• 高速に性能を発揮するアルゴリズムと安定性に優れるアルゴリズムを統合した選択フレームワーク内で、カリキュラム学習と収束保証を統合すること。
• 原始的なRLリターンを超える目的関数、例えば適応的ハイパーパrameterチューニングを、アルゴリズム間で公平な予算配分により可能にする。

提案手法

• 観測、行動、報酬の三つ組み（トリプレット）というユニバーサルなインタラクションプロセスを用いて、多様なアルゴリズム間で情報共有が可能な、RLアルゴリズムの統合フレームワークを提案する。
• 時間軸を指数関数的に増加するエポックに分割し、各エポック内でポリシー更新を凍結することで、安定した確率的バンディット選択を可能にする、メタアルゴリズムESBASを導入する。
• 各エポック内で累積報酬に基づいて最良のRLアルゴリズムを選択する確率的マルチアームドバンディットを用い、理論的偽レギュレートバウンドを提示する。
• 理論的分析により、ESBASが構造的サンプリング予算制約下でも近似的に最適性を達成できることを示し、レギュレートが $ (3K+1) ho_{\text{abs}}^{\tau}(T/3K) + \rho_{ss}^{\text{ESBAS}}(T) + \tilde{\rho}\text{log}(T) $ で抑えられることを示す。
• 各遷移後にアルゴリズムを更新する真のオンライン設定に適応したSSBASとしてESBASを拡張し、オンラインRLにおける動的ステップサイズ適応を可能にする。
• すべてのアルゴリズムが各トラジェクトリで訓練されるようにし、制御にかかわらずオフポリシー学習を用いて一貫したポリシー更新を維持することで、公平な評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 メタアルゴリズムは、オンラインでエピソード的なRL設定において、複数のオフポリシーRLアルゴリズムから期待報酬を最大化するように動的に選択可能か？
• RQ2 ポリシーを凍結したエポックごとのバンディットベース選択は、構造的サンプリング制約下でも理論的レギュレート保証を有するか？
• RQ3 ESBASは、対話システムやアーケードゲーム（Atari）のような現実世界のタスクにおいて、個々のRLアルゴリズムを上回るサンプル効率と性能を実現可能か？
• RQ4 古典的手法（例：双曲線減衰）と比較して、メタアルゴリズムはオンラインRLにおけるハイパーパラメータ（例：ステップサイズ）をどのように適応的に調整可能か？
• RQ5 高速かつ安定なアルゴリズムを統合することで、カリキュラム学習と収束保証をフレームワークがサポート可能か？

主な発見

• ESBASは、対話ポリシー学習タスクにおいて、ほとんどの設定で個々のRLアルゴリズムを上回り、優れたサンプル効率と報酬最大化を示した。
• フルーツ収集タスクでは、SSBASが古典的手法（双曲線減衰）よりもステップサイズパラメータをより効率的に適応させ、収束が速く、性能も優れた結果を得た。
• Q*bertのアーケードゲーム（Atari）では、SSBASを用いて、異なるネットワークの深さと幅を持つ複数のDQNバージョンを並列で実行することで、最終的な性能が大幅に向上した。
• 理論的分析により、ESBASは上界が $ (3K+1) ho_{\text{abs}}^{\tau}(T/3K) + \rho_{ss}^{\text{ESBAS}}(T) + \tilde{\rho}\text{log}(T) $ である近似的に最適なレギュレートを達成できることを証明した。ここで $ \tilde{\rho} $ は失敗確率に関連する定数である。
• ESBASは、高い確率 $ 1 - \tilde{\rho}/\tau $ で、最良のアルゴリズムが少なくとも $ \tau/3K $ 回選択されることを保証し、強力な実験的および理論的保証を提供する。