[論文レビュー] Reinforcement Learning from Imperfect Demonstrations under Soft Expert Guidance

Mingxuan Jing, Xiaojian Ma+5 more|arXiv (Cornell University)|Nov 16, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 9

ひとこと要約

本稿では、エキスパートのデモを硬直的な報酬ではなく、ソフトな制約として扱うことで、不完全なデモからの有効な学習を可能にする制約付き強化学習からの示唆（RLfD）手法を提案する。制約付き最適化問題としてポリシー最適化を定式化し、双対に基づく局所線形探索によりこれを解くことで、低品質またはスパarsなデモでさえも、ペナルティベースおよび事前学習ベースのベースラインを上回る優れた性能を達成する。

ABSTRACT

In this paper, we study Reinforcement Learning from Demonstrations (RLfD) that improves the exploration efficiency of Reinforcement Learning (RL) by providing expert demonstrations. Most of existing RLfD methods require demonstrations to be perfect and sufficient, which yet is unrealistic to meet in practice. To work on imperfect demonstrations, we first define an imperfect expert setting for RLfD in a formal way, and then point out that previous methods suffer from two issues in terms of optimality and convergence, respectively. Upon the theoretical findings we have derived, we tackle these two issues by regarding the expert guidance as a soft constraint on regulating the policy exploration of the agent, which eventually leads to a constrained optimization problem. We further demonstrate that such problem is able to be addressed efficiently by performing a local linear search on its dual form. Considerable empirical evaluations on a comprehensive collection of benchmarks indicate our method attains consistent improvement over other RLfD counterparts.

研究の動機と目的

• 現行のRLfD手法が完璧で十分なデモに依存するという限界に対処すること。これは現実の設定では現実的ではない。
• 不完全なデモ（劣悪なエキスパート品質および不足したデモ量を含む）を定義する新しいRLfD設定を形式化すること。
• 不完全なエキスパートに適用されたペナルティベースのRLfD手法における最適性および収束問題を克服すること。
• ポリシー学習中に不完全なデモをソフト制約として効果的に活用する、スケーラブルで効率的なアルゴリズムを開発すること。
• 異なるデモ品質および量の下で、本手法の優位性を実験的に検証すること。

提案手法

• ポリシーが提示された軌道の近傍に限定されるように、RLfDを制約付きポリシー最適化問題として定式化する。
• エキスパートのデモを、エージェントのポリシーが提示された領域から逸脱した場合にのみポリシー更新に影響を与えるソフト制約として扱う。
• 制約問題の双対定式化を用いて計算複雑性を低減し、深層ニューラルネットワークポリシーへのスケーラビリティを実現する。
• 各訓練ステップでポリシー更新を効率的に計算するために、双対目的関数における局所線形探索を実行する。
• デモの周囲の探索半径を制御する許容パラメータ $d$ を導入し、時間とともに徐々に制約を緩和するアニーリング機構を導入する。
• オフポリシーRLアルゴリズムを用いて連続制御ベンチマークに本手法を適用し、報酬形状の変更なしにソフト制約をポリシー更新に統合する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートのデモが品質や量の点で不完全である場合、既存のRLfD手法はどの程度の性能を示すか？
• RQ2 ソフト制約の定式化は、不完全なデモが存在する状況下で、RLfDの最適性および収束性を向上させることができるか？
• RQ3 制約の許容範囲およびそのアニーリングスケジュールがポリシー性能に与える影響は何か？
• RQ4 ペナルティベースおよび事前学習ベースのRLfD手法と比較して、本手法の制約付き最適化アプローチは、サンプル効率および最終的性能の点でどの程度優れているか？
• RQ5 本手法は、異なる環境におけるデモ品質および量の変動に対してロバストであるか？

主な発見

• 本手法は、不完全なデモでさえも、ペナルティベースおよび事前学習ベースのRLfD手法を常に上回る性能を示す。
• 高品質なデモが存在する場合でも、本手法はベースラインを上回る性能を達成しており、エキスパートデータのより効率的な利用を示している。
• 許容範囲が大きすぎる場合は制約が効かなくなり、小さすぎる場合は不完全なデモでの性能に悪影響を及げるため、慎重なチューニングの必要性が浮き彫りになる。
• 許容範囲のアニーリング機構は、性能とロバスト性を著しく向上させ、さまざまなアニーリング要因において安定した結果を示す。
• アブレーションスタディの結果、固定許容範囲はアニーリングされた許容範囲よりも悪い性能を示し、本手法はアニーリング要因のわずかな変化に対してもロバストであることが判明した。
• HalfCheetah、Walker2D、Antタスクにおいて、本手法は特に低品質またはスパarsなデモの下で、優れた最終的性能を達成した。