[論文レビュー] Hyperparameter Selection for Imitation Learning

Léonard Hussenot, Marcin Andrychowicz+12 more|arXiv (Cornell University)|May 25, 2021

Human Pose and Action Recognition被引用数 7

ひとこと要約

この論文は、真の環境報酬が利用できない現実のIL設定において、通常は真の環境報酬を用いてハイパーパramータ（HP）がチューニングされるという、強化学習における模倣学習（IL）の根本的なギャップに取り組んでいる。著者らは、真の報酬にアクセスできない状況でも、行動MSEや状態分布の乖離といった代理指標を提案し、実験的に評価した。これらの代理指標により、真の報酬が利用できない状況でも効果的なHPチューニングが可能となり、特に行動コーディング（BC）のような単純なアルゴリズムにおいて、異なる環境間での転送が可能であることが示された。

ABSTRACT

We address the issue of tuning hyperparameters (HPs) for imitation learning algorithms in the context of continuous-control, when the underlying reward function of the demonstrating expert cannot be observed at any time. The vast literature in imitation learning mostly considers this reward function to be available for HP selection, but this is not a realistic setting. Indeed, would this reward function be available, it could then directly be used for policy training and imitation would not be necessary. To tackle this mostly ignored problem, we propose a number of possible proxies to the external reward. We evaluate them in an extensive empirical study (more than 10'000 agents across 9 environments) and make practical recommendations for selecting HPs. Our results show that while imitation learning algorithms are sensitive to HP choices, it is often possible to select good enough HPs through a proxy to the reward function.

研究の動機と目的

• 真の環境報酬が不明で入手不可能な状況における、模倣学習におけるハイパーパramータ選択という根本的問題を解決すること。
• 行動MSE や状態分布の乖離といった代理指標が、真の報酬に代わるハイパーパramータチューニングの代替手段として有効であるかを評価すること。
• 報酬関数が利用できない状況において、異なる環境やタスク間でのハイパーパramータの転送可能性を調査すること。
• 専門家のデモンストレーションは利用可能だが報酬信号が得られない現実的な設定において、ILアルゴリズムのチューニングに実用的な推奨事項を提供すること。
• 真の報酬に依存しない、実世界の展開条件に整合した新しいIL評価プロトコルを確立すること。

提案手法

• エージェントと専門家が同じ状態で出力する行動の平均二乗誤差（MSE）や、エージェントと専門家の軌道間の状態分布の乖離を含む、複数の代理指標をハイパーパramータ選択のための提案・評価。
• オフラインの検証セットを用いて代理指標を計算し、環境との相互作用なしにハイパーパramータチューニングが可能になるようにする。特に行動コーディング（BC）に焦点を当てる。
• 9つの連続制御環境（OpenAI Gym や Adroit からのもの）を対象に大規模なハイパーパramータスイープを実施。10,000体以上のエージェントをトレーニングし、HPの感度と転送可能性を評価。
• 報酬が利用可能な環境から報酬が利用できない環境へとハイパーパramータを転送する方法を検討し、BC、AIL、PWIL といった異なるアルゴリズムファミリー間での性能を比較。
• 代理指標に基づく早期停止を用いて、ハイパーパramータチューニング中に過学習を回避し、一般化性能を向上させる。
• 真の環境報酬を用いた標準的な手法と比較し、真の報酬が利用できない状況での性能差を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 行動MSE や状態分布の乖離といった代理指標が、模倣学習におけるハイパーパramータ選択において真の環境報酬に効果的に代わることができるか？
• RQ2 真の報酬が利用できない状況において、代理指標を用いて選択されたハイパーパramータと真の報酬を用いた場合のILアルゴリズムの性能は、どのように異なるか？
• RQ3 ある環境で学習されたハイパーパramータが、報酬関数が利用できないターゲット環境へどの程度転送可能か？
• RQ4 代理指標の選択が、異なるタスクやアルゴリズムタイプにおける最終ポリシーの一般化性と頑健性にどのように影響を与えるか？
• RQ5 どのILアルゴリズムがより優れたハイパーパramータ転送性を示し、タスクの難易度やアルゴリズムの複雑さといった要因がこれにどのように影響を与えるか？

主な発見

• ILアルゴリズムはハイパーパramータの選択に極めて敏感であり、真の報酬が利用できない状況で真の報酬を用いてHPをチューニングすると、性能が著しく低下する。
• 行動MSE と状態分布の乖離は、ハイパーパramータ選択の有効な代理指標として機能し、真の報酬を用いた場合とほぼ同等の性能を達成できる。
• ハイパーパramータの転送は、同じ環境スイート内（例：Gymの一つの環境から別のGym環境へ）ではより効果的だが、異なるスイート間（例：Gym から Adroit へ）ではやや劣るが、多くのケースで成功する。
• 行動コーディング（BC）は、AIL や PWIL よりも優れたハイパーパramータ転送性を示す。これは、その単純な教師あり学習の目的関数に起因すると考えられる。
• 最も難しい2つのタスク（Humanoid と relocate）ではハイパーパramータ転送性能が最も悪く、タスクの難易度が転送性に悪影響を及ぼすことが示された。
• ハイパーパramータチューニング中に検証セットの指標（例：行動MSE）を用いることで、過学習を防ぎ、特に高次元制御設定において一般化性能が向上する。