[論文レビュー] Risk-Sensitive Generative Adversarial Imitation Learning

Jonathan Lacotte, Mohammad Ghavamzadeh+2 more|arXiv (Cornell University)|Aug 13, 2018

Human Pose and Action Recognition被引用数 10

ひとこと要約

本稿では、期待されるパフォーマンスに加えて、専門家のポリシーのリスクプロファイル（特にCVaRおよびVaR）を再現できるように拡張した、リスクセンシティブな生成対抗的模倣学習（RS-GAIL）を提案する。リスク埋め込み付きの占有測度上でのJS発散とウォッサーシュタイン距離を用いたリスクセンシティブな模倣学習の定式化により、RS-GAILはMuJoCoおよびOpenAI制御環境において、GAILおよびRAILに比して優れたリスク認識性能を達成した。特に、テールリスク指標において顕著な改善が見られた。

ABSTRACT

We study risk-sensitive imitation learning where the agent's goal is to perform at least as well as the expert in terms of a risk profile. We first formulate our risk-sensitive imitation learning setting. We consider the generative adversarial approach to imitation learning (GAIL) and derive an optimization problem for our formulation, which we call it risk-sensitive GAIL (RS-GAIL). We then derive two different versions of our RS-GAIL optimization problem that aim at matching the risk profiles of the agent and the expert w.r.t. Jensen-Shannon (JS) divergence and Wasserstein distance, and develop risk-sensitive generative adversarial imitation learning algorithms based on these optimization problems. We evaluate the performance of our algorithms and compare them with GAIL and the risk-averse imitation learning (RAIL) algorithms in two MuJoCo and two OpenAI classical control tasks.

研究の動機と目的

• リスクニュートラルな模倣学習の限界、特にCVaRやVaRといった専門家のリスクプロファイルを保持できない点を是正すること。
• エージェントが期待リターンに加えて専門家のリスクプロファイルを再現する必要がある、リスクセンシティブな模倣学習の設定を形式化すること。
• リスク埋め込み付き発散に基づく占有測度の一致を最適化することで、リスクセンシティブな目的を最適化するGAILベースのフレームワークを開発すること。
• 定量的リスク指標を用いて、ベンチマーク制御タスクにおいて提案されたRS-GAILアルゴリズムをGAILおよびRAILと比較して評価すること。

提案手法

• リスクセンシティブな模倣学習を、ジェンセン・ショーン発散とウォッサーシュタイン距離を用いてエージェントと専門家のリスクプロファイルを一致させる最適化問題として定式化する。
• 凸共役を介してリスクセンシティブな正則化項をGAIL目的関数に組み込むことで、2つの変種、JS-RS-GAILおよびW-RS-GAILを導出する。
• 標準的な状態-行動分布ではなく、CVaRなどのリスクプロファイルを符号化する占有測度を用いることで、リスク認識ポリシー学習を可能にする。
• リスク埋め込み付き測度下でのエージェントと専門家の軌道を区別するディスクライマーを用いた敵対的訓練を実装する。
• ポリシー勾配法を用いた深層強化学習により、連続的制御環境で本手法を適用する。
• 2段階の訓練プロセスを採用：まずディスクライマーがリスク埋め込み付き軌道を区別するように学習し、次に生成者（ポリシー）がリスク認識発散を最小化するように更新する。

実験結果

リサーチクエスチョン

• RQ1 GAILベースのフレームワークを、期待パフォーマンスに加えて専門家のリスクプロファイル（例：CVaR）を再現できるように拡張できるか？
• RQ2 リスク埋め込み付き占有測度に適用した際、JS発散とウォッサーシュタイン距離は模倣学習においてどのように機能するか？
• RQ3 提案されたRS-GAIL手法は、連続的制御タスクにおいて、VaRやCVaRといったリスクセンシティブ指標でGAILおよびRAILを上回る性能を示すか？
• RQ4 ネットワーク容量が、ウォッサーシュタインベースのRS-GAILの性能に与える影響は何か？JSベースのバージョンと比較してどうなるか？
• RQ5 本手法は、リスク回避行動が極めて重要な複雑な環境にも一般化可能か？

主な発見

• ホッパー環境では、JS-RS-GAILが平均リターン-5622 ± 198を達成し、GAIL（-5428 ± 191）およびRAIL（-6894 ± 241）を上回った。
• ウォーカー2D環境では、λ=0.05におけるJS-RS-GAILのCVaRαは-5202 ± 222であり、RAIL（-6111 ± 202）およびGAIL（-4913 ± 231）を顕著に上回った。
• カートポールでは、W-RS-GAILがραλ = -384 ± 10を達成し、W-GAIL（平均-314 ± 9）およびRAIL（-7714 ± 72）をリスクセンシティブ指標で上回った。
• 小規模ネットワーク設定では、JSベースのRS-GAIL変種がウォッサーシュタインベースの対応バージョンを一貫して上回った。これは、重みクリッピングを施したネットワークにおける表現力の制限が原因とされる。
• 実験結果から、標準的なGAILは、平均パフォーマンスが一致しても、CVaRおよびVaRのギャップが顕著であるため、専門家のリスクプロファイルを保持できないことが示された。
• 著者らは、より高容量のネットワークを搭載した複雑な環境では、ウォッサーシュタインベースのRS-GAILがより優れた性能を発揮する可能性があると推測しており、このような環境におけるさらなる評価の必要性を示唆している。