[論文レビュー] Learning Soft Constraints From Constrained Expert Demonstrations

Gaurav Ashish, Kasra Rezaee+2 more|arXiv (Cornell University)|Jun 2, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、与えられた報酬関数を前提として、エキスパートの行動から累積的ソフト制約（各ステップで厳密に満たされるのではなく、期待値として満たされる制約）を回復する、新しい逆制約学習（ICL）手法を提案する。制約付きマルコフ決定過程（CMDP）フレームワークと反復最適化を用い、合成的・ロボット的・実世界の高速道路走行シナリオにわたり、高い精度とノイズ耐性を示す柔軟なニューラルネットワークベースの制約関数を学習する。

ABSTRACT

Inverse reinforcement learning (IRL) methods assume that the expert data is generated by an agent optimizing some reward function. However, in many settings, the agent may optimize a reward function subject to some constraints, where the constraints induce behaviors that may be otherwise difficult to express with just a reward function. We consider the setting where the reward function is given, and the constraints are unknown, and propose a method that is able to recover these constraints satisfactorily from the expert data. While previous work has focused on recovering hard constraints, our method can recover cumulative soft constraints that the agent satisfies on average per episode. In IRL fashion, our method solves this problem by adjusting the constraint function iteratively through a constrained optimization procedure, until the agent behavior matches the expert behavior. We demonstrate our approach on synthetic environments, robotics environments and real world highway driving scenarios.

研究の動機と目的

• 安全で重要な応用分野において制約が不可欠であるが、従来の逆強化学習（IRL）手法では制約を回復できないという限界に対処すること。
• 個々の軌道で違反を許容するが、期待値として制限される累積的ソフト制約（ハード制約ではない）を学習すること。
• 連続的状態・行動空間を含む任意の状態・行動空間で動作し、柔軟なニューラルネットワークベースの制約関数を学習する手法を開発すること。
• 合成タスク、ロボット制御、実世界の高速道路走行シナリオなど多様な環境において、本手法の有効性を示すこと。
• 報酬のみのモデリングに代わる、解釈性と耐障害性に優れた代替手法として、安全性や運用制限を反映する制約を学習すること。

提案手法

• 本手法は、制約付きマルコフ決定過程（CMDP）フレームワーク内に逆制約学習を定式化し、期待報酬を最大化する一方で、累積制約値の期待値に関する制約を課す。
• 反復的制約付き最適化手順を用い、エージェントの行動がエキスパートの行動と一致するように、ニューラルネットワークベースの制約関数を調整する。
• 制約関数は深層ニューラルネットワークとしてパラメータ化され、エキスパートとエージェントの制約蓄積の差を最小化する微分可能な最適化プロセスで訓練される。
• IRLに類似したデュアル最適化スキームを採用し、エキスパートとエージェントの軌道全体における制約値の乖離に基づいて制約関数を更新する。
• 個々の軌道で制約を厳密に満たさなくてもよく、期待値でのみ制約を強制するため、エキスパートデータのノイズや軽微な違反に対しても耐性がある。
• 連続的状態・行動空間をサポートし、ロボット歩行や高速道路走行など複雑なダイナミクスを示す環境にも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 逆制約学習は、各ステップで厳密に満たされるのではなく、期待値として満たされるソフト制約を回復できるか？
• RQ2 ニューラルネットワークベースの制約関数は、連続的制御や実世界の走行シナリオを含む多様な環境にどれほど一般化できるか？
• RQ3 本手法は、既存のICLアプローチに比べ、制約の正確性と行動模倣の精度で優れているか？
• RQ4 エキスパートの行動データにおけるノイズや軽微な違反に対して、本手法はどれほど耐性があるか？
• RQ5 学習された制約は意味的に解釈可能であり、実世界の応用における安全性向上に役立つか？

主な発見

• 本手法は、グリッドワールドやカートポールなどの合成環境において、複数の設定でほぼゼロに近い制約平均二乗誤差（CMSE）を達成し、ソフト制約を成功裏に回復した。
• アンチとハーフチーターの環境では、それぞれCMSEが0.01 ± 0.00および0.01 ± 0.00を達成し、高精度な制約回復を示した。
• HighDおよびExiDの高速道路走行シナリオでは、速度制御およびギャップ制御に関連する意味のある制約を学習し、正規化された蓄積値がエキスパート行動と密接に一致した。
• ノイズやエキスパートデータの軽微な違反に対しても、期待値でのみ制約を強制するため、本手法は耐性を示した。
• 5つの異なる乱数シードで得られた学習プロットから、制約関数と蓄積値の収束が一貫しており、安定した学習が実現していることが示された。
• GAIL-Constraint や ICRL といったベースライン手法に比べ、特に複雑な環境において、制約関数の正確性と行動模倣の精度で優れた性能を示した。