[論文レビュー] An Optimal Online Method of Selecting Source Policies for Reinforcement Learning

Siyuan Li, Chongjie Zhang|arXiv (Cornell University)|Sep 24, 2017

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

本論文は強化学習におけるソース方策の最適オンライン選択法を提案する。ソース方策選択をマルチアームドバンディット（MAB）問題として定式化し、Q学習に方策再利用を組み合わせる。この手法は最適方策への収束を保証するとともに、効率的で理論的裏付けのある知識移譲を可能にし、PRQLなどの先行手法よりも速度と頑健性に優れる。特に、ソース知識が不適切または劣悪な場合でも顕著に優れる。

ABSTRACT

Transfer learning significantly accelerates the reinforcement learning process by exploiting relevant knowledge from previous experiences. The problem of optimally selecting source policies during the learning process is of great importance yet challenging. There has been little theoretical analysis of this problem. In this paper, we develop an optimal online method to select source policies for reinforcement learning. This method formulates online source policy selection as a multi-armed bandit problem and augments Q-learning with policy reuse. We provide theoretical guarantees of the optimal selection process and convergence to the optimal policy. In addition, we conduct experiments on a grid-based robot navigation domain to demonstrate its efficiency and robustness by comparing to the state-of-the-art transfer learning method.

研究の動機と目的

• タスク類似度に関する事前知識がなくとも、強化学習におけるオンラインでのソース方策選択の課題に対処すること。
• 学習中に有用なソース方策のみを動的に選択することで、負の知識移譲を回避すること。
• Q学習の理論的収束保証を維持しつつ、方策再利用による知識移譲を可能にすること。
• 不適切なソース方策に対しても頑健であり、継続的な探索と最適収束を保証する方法を構築すること。
• 既存のヒューリスティック的または収束しない手法に比べ、理論的裏付けがあり適応可能なソース方策選択のアプローチを提供すること。

提案手法

• 各ソース方策をバンディットのアームとみなす、オンラインでのソース方策選択をマルチアームドバンディット（MAB）問題として定式化する。
• Q学習に方策再利用を組み合わせ、訓練中に事前に学習済みの方策を活用できるようにする。
• 探索確率 $ p_t $ を徐々に減少させるε-greedy戦略を用い、すべての状態行動ペアが無限回訪問されることを保証する。
• 推定された報酬に基づいて、探索と活用のバランスを動的に調整し、ソース方策の選択確率を制御する。
• 十分な探索と有界な学習率を確保することで、標準的なQ学習と同等の理論的収束性を維持する。
• Q学習の更新式に方策再利用を統合し、該当する場合にはソース方策の出力を用いてQ値を初期化できるようにする。

実験結果

リサーチクエスチョン

• RQ1 オンラインでのソース方策選択をマルチアームドバンディット問題として定式化することで、最適で適応可能な方策再利用が可能になるか？
• RQ2 Q学習に方策再利用を組み合わせることで、理論的収束保証を維持しつつ学習を加速できるか？
• RQ3 ソース方策が劣悪または不適切な場合、本手法はPRQLと比べてどのように性能を発揮するか？
• RQ4 グリーディ方策がソース方策に劣る状況でも、最適方策への収束を保証できるか？
• RQ5 どのソース方策も有用でない環境では、アルゴリズムはどのように振る舞い、早期収束を避けるか？

主な発見

• 提案手法は、全テスト対象タスクにおいてPRQLより高速に学習収束を達成し、平均評価報酬も高い。
• どのソース方策も関連性がない場合（例：目的が別の部屋にある場合）、本手法の性能は標準的なQ学習と同等であるが、PRQLは早期収束により停滞する。
• 減少する $ ho_t $-ベースのε-greedy戦略により継続的な探索が維持され、ソース方策が誤った場合でも最適方策への収束が保証される。
• 非常に類似したタスク（$ heta_s $）において、PRQLは10回中2回の実行で部分最適方策に収束するが、本手法は一貫して探索を継続し、早期収束を回避する。
• ソース方策が有用な場合には知識移譲を効果的に行い、不適切な場合には負の知識移譲を回避する。これにより、頑健性と適応性が実証された。
• 実験的結果から、本手法は知識移譲が加速される場合でも非移譲の場合でも、ほぼ最適な性能を達成しており、理論的保証の妥当性が裏付けられた。