[論文レビュー] Task-Relevant Adversarial Imitation Learning

Konrad Żołna, Scott Reed+7 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

本稿では、タスク関連の視覚的特徴に焦点を当てることで、余計な関連性のない特徴を避けるように判別器の最適化を制約する、Task-Relevant Adversarial Imitation Learning (TRAIL) を提案する。TRAIL は、タスク報酬が存在しないピクセルベースのロボット操作タスクにおいて、行動コーディングや標準的な GAIL より優れた性能を達成する。

ABSTRACT

We show that a critical vulnerability in adversarial imitation is the tendency of discriminator networks to learn spurious associations between visual features and expert labels. When the discriminator focuses on task-irrelevant features, it does not provide an informative reward signal, leading to poor task performance. We analyze this problem in detail and propose a solution that outperforms standard Generative Adversarial Imitation Learning (GAIL). Our proposed method, Task-Relevant Adversarial Imitation Learning (TRAIL), uses constrained discriminator optimization to learn informative rewards. In comprehensive experiments, we show that TRAIL can solve challenging robotic manipulation tasks from pixels by imitating human operators without access to any task rewards, and clearly outperforms comparable baseline imitation agents, including those trained via behaviour cloning and conventional GAIL.

研究の動機と目的

• 敵対的模倣学習における脆弱性、すなわち判別器が関係のない視覚的特徴と専門家ラベルの間で誤った関連性を学習することを是正すること。
• 判別器がタスクに関連する特徴にのみ注目することで、報酬信号の情報量を向上させること。
• 密度または疎なタスク報酬にアクセスできないピクセルベースのロボット操作タスクで、効果的な模倣学習を可能にすること。
• 複雑なビジョンベースの模倣シナリオにおいて、標準的な GAIL や行動コーディングを上回ること。

提案手法

• 判別器の最適化を制約する目的関数を導入し、タスクに関係のない視覚的特徴への依存を抑える。
• 判別器の意思決定境界が、タスク成功と相関する特徴にのみ依存するように制約を課す。
• 専門家行動と相関のない特徴に注目することをペナルティ化する正則化された訓練手順を採用する。
• 判別器を、専門家行動とは関係のない専門家データと専門家デモを区別するように訓練し、報酬信号の質を向上させる。
• 生成器ポリシーを、制約付き判別器の出力を報酬信号として用いて更新する。

実験結果

リサーチクエスチョン

• RQ1 敵対的模倣学習において、判別器がタスクに関係のない視覚的特徴に過剰適合するメカニズムは何か？
• RQ2 判別器の最適化を制約することで、模倣学習における報酬信号の質を向上させられるか？
• RQ3 TRAIL はピクセルベースのロボット操作タスクにおいて、標準的な GAIL や行動コーディングを上回る性能を示せるか？
• RQ4 タスク固有の報酬関数にアクセスできない状況でも、TRAIL は強力な性能を達成できるか？

主な発見

• TRAIL は、ピクセル観測からの複雑なロボット操作タスクを、標準的な GAIL や行動コーディングよりも顕著に優れた性能で解消する。
• 本手法は、いかなるタスク報酬にアクセスせずに、専門家のデモから学習し、制約付き判別器の信号にのみ依存する。
• TRAIL は、誤った視覚的特徴への依存を低減させ、より頑健で一般化可能なポリシーを学習する。
• 制約付き判別器は、標準的な GAIL よりも情報量が多く安定した報酬信号を生成する。