[論文レビュー] Strictly Batch Imitation Learning by Energy-based Distribution Matching

Daniel Jarrett, Ioana Bica+1 more|arXiv (Cornell University)|Jun 25, 2020

Robot Manipulation and Learning参考文献 56被引用数 9

ひとこと要約

本稿では、示範者の占有測度と模倣者の間の発散を直接最小化することで、状態分布のエネルギー関数としてのポリシーのパラメータ化を同定することにより、厳密にバッチ処理される強化学習の模倣手法であるエネルギーベースド・ディストリビューション・マッチング（EDM）を提案する。EDMは完全にオフラインで動作し、アクションの条件付き分布と状態周辺分布を尊重し、制御および医療分野のベンチマークにおいて、既存のオフライン模倣学習手法よりも一貫した性能向上を達成する。

ABSTRACT

Consider learning a policy purely on the basis of demonstrated behavior -- that is, with no access to reinforcement signals, no knowledge of transition dynamics, and no further interaction with the environment. This *strictly batch imitation learning* problem arises wherever live experimentation is costly, such as in healthcare. One solution is simply to retrofit existing algorithms for apprenticeship learning to work in the offline setting. But such an approach leans heavily on off-policy evaluation or offline model estimation, and can be indirect and inefficient. We argue that a good solution should be able to explicitly parameterize a policy (i.e. respecting action conditionals), implicitly learn from rollout dynamics (i.e. leveraging state marginals), and -- crucially -- operate in an entirely offline fashion. To address this challenge, we propose a novel technique by *energy-based distribution matching* (EDM): By identifying parameterizations of the (discriminative) model of a policy with the (generative) energy function for state distributions, EDM yields a simple but effective solution that equivalently minimizes a divergence between the occupancy measure for the demonstrator and a model thereof for the imitator. Through experiments with application to control and healthcare settings, we illustrate consistent performance gains over existing algorithms for strictly batch imitation learning.

研究の動機と目的

• 環境との相互作用、報酬、ダイナミクスにアクセスできない状況下で、オフラインの専門家の示範データのみからポリシーを学習する課題に対処すること。
• アクションの条件付き分布を明示的にモデル化するとともに、状態訪問分布を通じてロールアウトのダイナミクスを暗黙的に捉える手法を開発すること。
• オフポリシー評価やオンライン強化学習ループに依存しない、完全にオフラインのソリューションを構築すること。
• 医療などデータが乏しくてコストの高い状況における一般化性能と性能を向上させること。

提案手法

• EDMは、ポリシーの条件付き分布を識別モデルとして、状態周辺分布を生成的エネルギー関数として用いることで、示範者の占有測度と模倣者の間の発散を最小化する形で模倣学習を定式化する。
• この手法は、ポリシーのパラメータ化を状態上のエネルギー関数として同定することで、ポリシーと状態分布のマッチングを一度のオフライン目的関数内で同時に最適化可能にする。
• コアとなる目的関数は、専門家の状態行動占有測度と模倣者の間の発散（例：KL発散やf-発散）を最小化することであり、スコアベースまたはエネルギーベースの定式化を用いる。
• EDMは、半教師付き設定において状態のみのデータを活用し、アクションラベルが乏しいが状態が観測可能な状況で性能を向上させる。
• このアプローチは深層ニューラルネットワークと互換性があり、多様な環境に対応するための完全結合型および畳み込み型アーキテクチャをサポートする。
• 反復的なオフポリシー評価や内部のRLループを回避することで、オフラインの示範データから直接かつエンド・トゥ・エンドで学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オンライン相互作用が一切ない状況下で、アクションの条件付き分布と状態訪問分布の両方を効果的にモデル化できる厳密なバッチ模倣学習手法は、実現可能か？
• RQ2 エネルギーベースドのディストリビューション・マッチングは、既存のオフライン模倣学習手法と比較して、データの有効利用効率や性能においてどのように差をつけるか？
• RQ3 オフラインの専門家示範データに加えて、状態のみのデータを組み合わせることで、低データ環境における性能はどの程度向上するか？
• RQ4 オフポリシー評価やオンラインRLのファインチューニングに依存する手法と比較して、EDMはオフライン模倣設定で優れた性能を示すか？

主な発見

• EDMは、Acrobot、CartPole、LunarLander、BeamRiderといった制御タスクにおいて、既存のオフライン模倣学習アルゴリズムと比較して一貫した性能向上を達成する。
• MIMIC-III医療ベンチマークにおいて、EDMはVDICEや行動コーディングといった強力なベースラインを上回り、臨床意思決定設定における頑健性を示す。
• EDM-1t+（1本の専門家トレースに加えて追加の状態のみのデータを用いる）は、3本の専門家トレースで学習したVDICEと同等の性能を達成し、半教師付き状態分布マッチングの利点を示している。
• 状態のみのデータを用いることで、性能が7倍向上し、データが乏しい状況下での強力なデータ有効利用効率を示している。
• EDMの性能は、連続的制御および表形式の医療タスクを含む多様な環境で安定的かつ優れたものであり、オンライン相互作用や報酬モデリングを一切必要としない。