[論文レビュー] Provable Representation Learning for Imitation Learning via Bi-level Optimization

Sanjeev Arora, Simon S. Du+3 more|arXiv (Cornell University)|Feb 24, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 4

ひとこと要約

本稿では、複数のエキスパート軌道から共有表現を学習することで、サンプル複雑性を低減する、証明可能表現学習のための二段階最適化フレームワークを提案する。この手法は、行動クラーニングと観測のみの設定の両方で理論的保証を達成し、表現学習が強化学習タスクにおけるサンプル効率を顕著に向上させることを示している。

ABSTRACT

A common strategy in modern learning systems is to learn a representation that is useful for many tasks, a.k.a. representation learning. We study this strategy in the imitation learning setting for Markov decision processes (MDPs) where multiple experts' trajectories are available. We formulate representation learning as a bi-level optimization problem where the "outer" optimization tries to learn the joint representation and the "inner" optimization encodes the imitation learning setup and tries to learn task-specific parameters. We instantiate this framework for the imitation learning settings of behavior cloning and observation-alone. Theoretically, we show using our framework that representation learning can provide sample complexity benefits for imitation learning in both settings. We also provide proof-of-concept experiments to verify our theory.

研究の動機と目的

• 複数のエキスパートのデモンストレーションから表現学習を活用することで、強化学習における高いサンプル複雑性を軽減すること。
• 強化学習における表現学習を、共通の表現学習とタスク固有のポリシー学習を分離する二段階最適化問題として形式化すること。
• エキスパートの行動が観測可能（行動クラーニング）および不可（観測のみ）な両設定において、強化学習における証明可能なサンプル複雑性の利点を提供すること。
• NoisyCombinationLock や SwimmerVelocity などの環境における実験を通じて、理論的知見の実証的妥当性を検証すること。
• 教師あり学習におけるマルチタスク表現学習と単一タスクの強化学習を橋渡しし、非凸損失関数の保証を提供すること。

提案手法

• 強化学習を二段階最適化として定式化：外側の最適化が共有表現を学習し、内側の最適化が模倣を通じてタスク固有のポリシーを学習する。
• 行動クラーニングの場合、内側の最適化は、エキスパートの行動とポリシー出力の間の交差エントロピーを最小化する。この際、共有表現が使用される。
• 観測のみの設定では、Sun 他 (2019) のインスパイアを受けて、ミニマックス形式の内側最適化を用いる。これにより、環境との相互作用を通じてポリシーを推定可能となる。
• このフレームワークは、観測のみの設定においてエージェントが環境と相互作用可能であり、エキスパートの行動にアクセスできない状況下でもポリシー学習が可能となる。
• 表現はニューラルネットワーク（例：ReLU活性化関数を有する線形層）でパラメータ化され、タスク固有のヘッドと一体となってエンドツーエンドで最適化される。
• 全体の損失関数は、すべてのタスクにおける行動クラーニングの目的関数を組み合わせており、共有表現条件下でのエキスパート行動の負の対数尤度を最小化する。

実験結果

リサーチクエスチョン

• RQ1 複数のエキスパートが異なるMDPをデモンストレーションする状況で、表現学習が強化学習におけるサンプル複雑性を証明可能に低減できるか？
• RQ2 エキスパートの行動が利用可能な行動クラーニング設定において、二段階最適化フレームワークが効果的な表現学習を可能にするか？
• RQ3 エキスパートの行動が隠されているより困難な観測のみの設定にも、このフレームワークは一般化可能か？
• RQ4 初期化から学習する場合と比較して、共有表現を用いることで得られる理論的サンプル複雑性の利点は何か？
• RQ5 複雑な環境におけるポリシー学習のためのサンプル要件を低減するという点で、このフレームワークは実験的にどの程度の性能を示すか？

主な発見

• 提案された二段階最適化フレームワークは、行動クラーニングおよび観測のみの強化学習設定の両方で、証明可能なサンプル複雑性の利点を提供する。
• 行動クラーニングの設定では、十分な数のエキスパートが存在する場合、新しいタスクに必要なデモンストレーション数が減少することが示された。
• 観測のみの設定では、ミニマックス形式の内側最適化により、エキスパート行動の教師信号なしにポリシー学習が可能であり、サンプル効率に関する理論的保証が得られた。
• NoisyCombinationLock および SwimmerVelocity における実験から、表現学習が少ないデモンストレーションでより速いポリシー収束を実現することが明らかになった。
• 学習済み表現を用いたポリシー最適化は、ランダム初期化からの学習に比べ、より少ない訓練ステップで高い報酬を達成した。
• このフレームワークはタスク間でうまく一般化しており、多様なエキスパートから学習した表現が、新しい強化学習タスクへのゼロショット転送を向上させることを示した。