[論文レビュー] Algorithm selection of off-policy reinforcement learning algorithm.

Romain Laroche, Raphaël Féraud|arXiv (Cornell University)|Jan 30, 2017

Advanced Bandit Algorithms Research参考文献 50被引用数 5

ひとこと要約

本稿では、エポックの開始時に各軌道の開始時に、報酬を最大化するように最良のオフポリシー強化学習アルゴリズムを動的に選択する、メタアルゴリズムであるエポック単位の確率的バンディットアルゴリズム選択（ESBAS）を提案する。ESBASは、固定ポリシーと各エポックごとにリセットされた確率的バンディットを用い、サンプリング制約下でもほぼ最適なパフォーマンスを達成し、パフォーマンスが最良の個々のアルゴリズムを上回る。これは交渉対話ゲームにおいて実証された。

ABSTRACT

Dialogue systems rely on a careful reinforcement learning design: the learning algorithm and its state space representation. In lack of more rigorous knowledge, the designer resorts to its practical experience to choose the best option. In order to automate and to improve the performance of the aforementioned process, this article formalises the problem of online off-policy reinforcement learning algorithm selection. A meta-algorithm is given for input a portfolio constituted of several off-policy reinforcement learning algorithms. It then determines at the beginning of each new trajectory, which algorithm in the portfolio is in control of the behaviour during the full next trajectory, in order to maximise the return. The article presents a novel meta-algorithm, called Epochal Stochastic Bandit Algorithm Selection (ESBAS). Its principle is to freeze the policy updates at each epoch, and to leave a rebooted stochastic bandit in charge of the algorithm selection. Under some assumptions, a thorough theoretical analysis demonstrates its near-optimality considering the structural sampling budget limitations. Then, ESBAS is put to the test in a set of experiments with various portfolios, on a negotiation dialogue game. The results show the practical benefits of the algorithm selection for dialogue systems, in most cases even outperforming the best algorithm in the portfolio, even when the aforementioned assumptions are transgressed.

研究の動機と目的

• 対話システムにおけるオフポリシー強化学習アルゴリズムの選択を自動化・改善し、ヒューリスティックな設計選択に依存するのを減らすこと。
• 構造的サンプリング予算が探索を制限する状況において、パフォーマンスの最良なアルゴリズムをパフォーマンスの最良なアルゴリズムから選ぶ課題に対処すること。
• オンラインオフポリシーのアルゴリズム選択を、累積報酬を最大化することを焦点に、メタラーニングの問題として形式化すること。
• 実用的制約下で理論的に裏付けられた、ほぼ最適な動的アルゴリズム選択手法を開発すること。
• 本手法が、多様なパフォーマンス構成における個々のアルゴリズムよりも優れていることを経験的に検証すること。

提案手法

• ESBASは、各エポックの開始時にポリシー更新を固定することで、選択中の学習が安定するようにする。
• 各エポックの開始時に、過去のパフォーマンスに基づいてパフォーマンスの最良なアルゴリズムをパーソナライズド・ポートフォリオから選ぶために、確率的バンディットを再初期化する。
• アルゴリズム選択とポリシー学習を分離することで、メタポリシーの独立した最適化が可能になる。
• 本手法は構造的サンプリング予算制約を仮定し、理論的分析を活用してほぼ最適性を保証する。
• 各新しい軌道の開始前に選択がなされ、選ばれたアルゴリズムがその軌道全体を通じて行動を支配する。
• バンディット学習とオフポリシーRLを組み合わせることで、再トレーニングなしに適応的アルゴリズム切り替えが可能になる。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習中にメタアルゴリズムが動的に最良のオフポリシーRLアルゴリズムを選択し、対話システムにおける報酬を最大化できるか？
• RQ2 理論的仮定が破られる状況下でも、ESBASはパフォーマンスの最良な個々のアルゴリズムと比較してどのように性能を発揮するか？
• RQ3 構造的サンプリング予算制約下で、ESBASはどの程度ほぼ最適性を達成するか？
• RQ4 ESBASによるアルゴリズム選択は、対話ゲームにおける多様なパーソナライズド・ポートフォリオにおいて一貫したパフォーマンス向上をもたらすか？
• RQ5 仮定が破られる状況下でも、メタアルゴリズムはパフォーマンスの最良の個々のアルゴリズムを上回ることができるか？

主な発見

• ESBASは、交渉対話ゲームにおける複数の実験設定において、パーソナライズド・ポートフォリオ内の最良の個々のアルゴリズムを一貫して上回った。
• 理論的仮定が破られた状況下でも、実用的なパフォーマンス上の利点が示され、そのロバスト性が裏付けられた。
• 理論的分析により、ESBASが構造的サンプリング予算制約下でほぼ最適性を達成することが確認された。
• エポック単位のポリシー更新の固定化により、ポリシー学習からの干渉を回避し、安定的かつ効果的なアルゴリズム選択が可能になった。
• 各エポックごとにリセットされた確率的バンディットの使用により、最小限の計算コストで適応的かつデータ駆動型の選択が可能になった。
• 経験的結果から、静的アルゴリズム選択と比較して、動的アルゴリズム選択が報酬を顕著に向上させたことが示された。