[論文レビュー] Guarded Policy Optimization with Imperfect Online Demonstrations

Zhenghai Xue, Zhenghao Peng+3 more|arXiv (Cornell University)|Mar 3, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文では、教師-生徒フレームワークにおいて、行動ベースの干渉に代わり、軌道ベースの価値推定を用いた干渉意思決定を行うことで、不完全な教師を上回る性能を示す学生エージェントを実現する、新しいオフポリシー強化学習手法TS2Cを提案する。行動ベースの干渉とは異なり、TS2Cは学生の期待リターンが有望である場合に逸脱を許容するため、教師の品質にかかわらず優れたサンプル効率性と安全保証を達成する。

ABSTRACT

The Teacher-Student Framework (TSF) is a reinforcement learning setting where a teacher agent guards the training of a student agent by intervening and providing online demonstrations. Assuming optimal, the teacher policy has the perfect timing and capability to intervene in the learning process of the student agent, providing safety guarantee and exploration guidance. Nevertheless, in many real-world settings it is expensive or even impossible to obtain a well-performing teacher policy. In this work, we relax the assumption of a well-performing teacher and develop a new method that can incorporate arbitrary teacher policies with modest or inferior performance. We instantiate an Off-Policy Reinforcement Learning algorithm, termed Teacher-Student Shared Control (TS2C), which incorporates teacher intervention based on trajectory-based value estimation. Theoretical analysis validates that the proposed TS2C algorithm attains efficient exploration and substantial safety guarantee without being affected by the teacher's own performance. Experiments on various continuous control tasks show that our method can exploit teacher policies at different performance levels while maintaining a low training cost. Moreover, the student policy surpasses the imperfect teacher policy in terms of higher accumulated reward in held-out testing environments. Code is available at https://metadriverse.github.io/TS2C.

研究の動機と目的

• 教師方策の性能に制限を受ける既存の教師-生徒フレームワーク（TSF）手法の限界に対処する。
• 安全で探索効率の高い状況下で、不完全な教師方策を上回る学生方策を可能にする手法を開発する。
• 行動類似度に基づく干渉を軌道ベースの価値推定に置き換えることで、高品質な教師の示唆の必要性を緩和する。
• 理論的および実験的に、学生の性能が教師の能力によって上限に縛られないことを検証する。
• 多様な環境および多様な教師方策ソースにおいて一貫した性能向上を示す一般化能力を実証する。

提案手法

• 学生の期待リターンが教師の推定価値未満である場合にのみ教師が干渉する、価値ベースの干渉メカニズムを導入する。
• 軌道ベースの価値推定器を用いて、学生の行動の長期的リターンを評価し、情報に基づいた干渉意思決定を可能にする。
• 教師の干渉データと学生の経験を統合し、オフポリシー学習用の共有リプレイバッファに格納する。
• SACなどのオフポリシー強化学習アルゴリズムを用い、学生が生成した遷移と教師による干渉遷移の両方を活用して学生方策を訓練する。
• 不要な干渉を最小限に抑える干渉関数を設計することで、トレーニングコストを削減しながらも安全性を維持する。
• 理論的分析により、TS2Cが教師の品質に依存しない下限性能と安全保証を維持することを示す。

Figure 1: Overview of the proposed teacher-student shared control method. Both student and teacher policies are in the training loop and the shared control occurs based on the intervention function.

実験結果

リサーチクエスチョン

• RQ1 教師の性能に制限されない教師-生徒フレームワークにおいて、学生方策が不完全な教師を上回ることは可能か？
• RQ2 行動ベースの干渉を価値ベースの干渉に置き換えることで、オンライン強化学習におけるサンプル効率性と安全性が向上するか？
• RQ3 教師方策の品質が異なる条件下で、学生方策の性能はどのようにスケーリングするか？
• RQ4 提案手法は、異なるMuJoCo環境および多様な教師方策ソースにおいて一般化可能か？
• RQ5 複雑な環境における訓練コストと方策行動に、干渉メカニズムがどのような影響を及ぼすか？

主な発見

• TS2Cは、教師の性能が高、中、低のすべての水準において、200kトレーニングステップ以内に収束し、教師の品質に敏感でないことを示した。
• ホールドアウトテスト環境において、TS2Cで訓練された学生方策は、教師およびベースライン手法（例：EGPO、Importance Advising）よりも顕著に高い累積報酬を達成した。
• EGPOやImportance Advisingと比較して、TS2Cは干渉率が急激に低下するため、トレーニングコストを削減した。
• MetaDriveシミュレータにおいて、価値ベースの干渉により学生は追い越し行動（青色の軌道）を学習したが、行動ベースの干渉では劣化した追従行動（緑色の軌道）が生じた。
• TS2Cは、教師方策が僅かに熟練している場合でも、すべての3つのMuJoCo環境でSAC、PPO、および行動クラーニングを上回った。
• アブレーションスタディにより、価値ベースの干渉関数が性能に不可欠であることが確認され、これは学生が教師から逸脱しても高リターンの行動を探索可能にすることを示している。

Figure 2: In an autonomous driving scenario, the ego vehicle is the blue one on the left, following the gray vehicle on the right. The upper trajectory is proposed by the student to overtake and the lower trajectory is proposed by the teacher to keep following.