[論文レビュー] Agent-Agnostic Human-in-the-Loop Reinforcement Learning

David Abel, John Salvatier+2 more|arXiv (Cornell University)|Jan 15, 2017

Reinforcement Learning in Robotics参考文献 37被引用数 22

ひとこと要約

本論文は、エージェントの内部学習アルゴリズムを知らなくても人間による指導が可能な、エージェントに依存しないフレームワーク「プロトコルプログラム」を導入する。人間の指導を状態、行動、報酬チャネルのプログラマブルな制御として表現することで、さまざまな強化学習エージェントにおいて行動の刈り込みと報酬の形状調整を効果的に実現し、グリッドワールドおよびタクシー環境において、サンプル効率と安全性を著しく向上させる。特に、刈り込みを用いることでR-maxはより少ないエピソードでほぼ最適な性能を達成する。

ABSTRACT

Providing Reinforcement Learning agents with expert advice can dramatically improve various aspects of learning. Prior work has developed teaching protocols that enable agents to learn efficiently in complex environments; many of these methods tailor the teacher's guidance to agents with a particular representation or underlying learning scheme, offering effective but specialized teaching procedures. In this work, we explore protocol programs, an agent-agnostic schema for Human-in-the-Loop Reinforcement Learning. Our goal is to incorporate the beneficial properties of a human teacher into Reinforcement Learning without making strong assumptions about the inner workings of the agent. We show how to represent existing approaches such as action pruning, reward shaping, and training in simulation as special cases of our schema and conduct preliminary experiments on simple domains.

研究の動機と目的

• エージェントの学習アルゴリズムや表現に関する仮定を必要としない、一般化されたエージェントに依存しないフレームワークを構築すること。
• 行動の刈り込み、報酬の形状調整、状態の操作といった、人間の指導をプログラマブルな干渉として形式化し、任意の強化学習エージェントに適用可能であることを示すこと。
• このようなプロトコルプログラムが、エージェント固有の適合を必要とせずに学習を加速させ、深刻な失敗を回避できることを実証すること。
• モジュラーでプログラマブルなインターフェースを通じて、教師の有効性の理論的・実用的限界を探索すること。
• 多様な強化学習アルゴリズムや環境に適用可能な、動的で人間がガイドする学習プロトコルの基盤を構築すること。

提案手法

• フレームワークは「プロトコルプログラム」として実装され、ユーザーが定義したプログラムがエージェント、環境、人間の間の相互作用を仲介し、状態遷移、行動の可視性、報酬信号を制御する。
• 行動の刈り込みは、非最適または危険な行動（例：MountainCarドメインにおける高速移動）をブロックし、エージェントを現在の状態に戻すことで実現される。この際、小さなペナルティが付与される。
• 報酬の形状調整は、人間が提供するルールに基づいて報酬信号を変更することで可能である。例えば、タクシーが目的地に到着していない状態で降車行動をとった場合にペナルティを与える。
• 状態の操作は、エージェントの観測または状態表現を変更することで実現され、不要な特徴を隠蔽する、次元削減を行うなども可能である。
• 本手法は完全観測可能なMDP設定内で形式化されており、状態の完全観測と事前にプログラムされた人間の指導を仮定している。
• 実験では、2つの環境（MountainCar：高速移動の防止、Taxi：目的地に到着していない状態での降車行動の刈り込み）を用い、Q学習とR-maxエージェントを対象として評価した。

実験結果

リサーチクエスチョン

• RQ1 人間がエージェントの学習アルゴリズムや表現について事前に知識を持たなくても、任意の強化学習エージェントに有効な指導を提供できるか？
• RQ2 行動の刈り込み、報酬の形状調整、状態の操作といった人間の干渉は、どのように一貫して多様な強化学習エージェントにエンコード・適用可能か？
• RQ3 エージェント固有の教示手法と比較して、エージェントに依存しないプロトコルプログラミングは、学習速度と安全性においてどのように異なるか？
• RQ4 プロトコルプログラムは、複雑なMDPにおいて深刻な行動を防ぎつつ、サンプル効率を維持または向上させることができるか？
• RQ5 教師が非最適な行動を信頼性を持って刈り込むための理論的条件は何か？ その条件のもとで学習性能に悪影響を与えないか？

主な発見

• MountainCarドメインでは、プロトコルプログラムによる行動の刈り込みを施したエージェントは、40万アクションの間で、非刈り込みエージェントと比較して約5倍高い累積報酬を達成した。これは、一部の不整合な状態遷移が観測されたにもかかわらず成立した。
• 刈り込みを施したエージェントは、初期の学習段階で顕著な性能差を示し、急速に最適に近い性能に到達した。一方、非刈り込みエージェントは高速移動を避けるよう学習するまでに時間がかかった。
• Taxi環境では、行動の刈り込みにより無効な降車行動が排除され、有効な状態空間が縮小された。その結果、Q学習とR-max両エージェントの収束が早まり、累積報酬も向上した。
• R-max（モデルベースのアルゴリズム）は、プロトコルによるガイドラインのもとで、少数のエピソードでほぼ最適な性能を達成した。これは、刈り込みによる学習の加速が顕著に効果的であったことを示している。
• プロトコルプログラムのアプローチは、報酬の形状調整や行動の刈り込みの利点を特別なケースとして効果的に捉えており、エージェントの内部コードや学習メカニズムにアクセスする必要がなかった。
• 結果から、エージェントに依存しないプロトコルは有効かつスケーラブルであり、多様な強化学習アルゴリズムにわたるモジュラーで再利用可能な指導戦略の構築が可能であると示唆される。