[論文レビュー] Learning Shared Safety Constraints from Multi-task Demonstrations

Konwoo Kim, Gokul Swamy+4 more|arXiv (Cornell University)|Sep 1, 2023

Reinforcement Learning in RoboticsComputer Science被引用数 3

ひとこと要約

本稿では、複数のタスクにわたる多様なエキスパートのデモを活用して、単一タスク手法よりもより頑健に共有される安全制約を学習する、マルチタスク逆制約学習（MT-ICL）を提案する。逆制約学習をゼロサムゲームとして定式化し、マルチタスクデータを用いることで、極端に慎重な制約を避ける。この手法により、環境との相互作用なしに、連続制御環境で真の安全制約を正確に回復でき、エキスパートの性能に匹敵する結果が得られた。

ABSTRACT

Regardless of the particular task we want them to perform in an environment, there are often shared safety constraints we want our agents to respect. For example, regardless of whether it is making a sandwich or clearing the table, a kitchen robot should not break a plate. Manually specifying such a constraint can be both time-consuming and error-prone. We show how to learn constraints from expert demonstrations of safe task completion by extending inverse reinforcement learning (IRL) techniques to the space of constraints. Intuitively, we learn constraints that forbid highly rewarding behavior that the expert could have taken but chose not to. Unfortunately, the constraint learning problem is rather ill-posed and typically leads to overly conservative constraints that forbid all behavior that the expert did not take. We counter this by leveraging diverse demonstrations that naturally occur in multi-task settings to learn a tighter set of constraints. We validate our method with simulation experiments on high-dimensional continuous control tasks.

研究の動機と目的

• 明示的でない、タスクに依存しない安全制約を学習する課題に取り組むこと。
• 逆制約学習がしばしば極端に慎重な制約を生じさせるという不適切な定式化の問題を克服すること。
• 複数のタスクからの多様なデモを活用することで、制約の一般化とロバストネスを向上させること。
• 安全で高性能なポリシーを未学習のタスクに対しても実現できる、逆制約学習のマルチタスク拡張を形式化すること。
• 高次元の連続制御タスクにおいて、環境との相互作用なしに真の制約を回復できることを検証すること。

提案手法

• ポリシー・プレイヤー（制約下でタスク報酬を最大化）と制約・プレイヤー（エキスパートに対してポリシーをペナルティを与える制約を選択）の2人零和ゲームとして、逆制約学習（ICL）を定式化する。
• 複数のタスク固有のポリシー・プレイヤーを評価する制約・プレイヤーを導入することで、ICLをマルチタスク設定に拡張する。エキスパートと学習者データの集約を用いることで、退化した解を避ける。
• 内側のループで制約付き強化学習（CRL）オракルを用い、候補となる制約の下での最適ポリシーを特定することで、安全なポリシー最適化を可能にする。
• マルチタスクのデモデータを活用して、状態空間のカバレッジを向上させ、単一タスクにおけるエキスパート行動の特異的特徴への過学習を低減する。
• 深層ニューラルネットワークを用いて制約関数を表現することで、複雑で高次元の環境における一般化を可能にする。
• ゲーム理論的最適化プロセスを繰り返し適用し、高報酬で危険な行動（エキスパートが避けたもの）のみを禁止する制約に収束させる。

Figure 1 : A visual depiction of the optimization problem we’re trying to solve in ICL . We attempt to pick a constraint that minimizes the value difference over the expert policy a safe policy could have. The star corresponds to the output of CRL.

実験結果

リサーチクエスチョン

• RQ1 マルチタスクのデモは、単一タスクのICLと比較して、学習された安全制約のロバストネスと一般化性能を向上させることができるか？
• RQ2 提案されたマルチタスクICLフレームワークは、従来のICL手法で一般的な極端に慎重な制約をどのように回避するか？
• RQ3 環境との相互作用なしに、連続制御環境で真の安全制約をどの程度回復できるか？
• RQ4 多様なタスクのデモから共有制約を学習することで、未学習のタスクに一般化できるか？
• RQ5 エキスパートの非最適性（ノイズありデモ）が制約学習に与える影響は何か？また、ノイズのあるデモに対してもロバスト性を保てるか？

主な発見

• マルチタスクICL手法は、環境との相互作用なしに、エキスパートのデモのみを用いてAntMaze環境の真の迷路構造を正確に回復できた。
• AntMazeタスクにおいて、マルチタスク制約ネットワーク（g）／（h）は真の壁をほぼ正確に再構築しているが、単一タスクネットワーク（d）やアンサンブル手法（e）／（f）は誤った、余計な制約を学習している。
• AntMaze環境の全10タスクにおいて、エキスパート水準のパフォーマンスと制約違反率を達成した。結果は3つのシードで平均化され、標準誤差が計算された。
• 行動にガウスノイズを加えたノイズのあるエキスパートデモに対しても、安全で高性能なポリシーを維持でき、非最適なエキスパートに対してもロバストであることが示された。
• マルチタスクデータから共有制約を学習することで、未学習のタスクに一般化でき、多様なナビゲーション目標において一貫したパフォーマンスを示した。
• ゼロサムゲームの定式化により、安定した制約学習が可能となり、シミュレーションおよび連続制御設定の両方で反復回数に応じた収束が観察された。

Figure 2 : If we have a sufficient diversity of expert policies, none of which are optimal along the reward vector, we can identify the hyperplane that separates the safe policies from the unsafe policies. The constraint (red, dashed) will be orthogonal to this hyperplane. For this example, because