[論文レビュー] Toward the Fundamental Limits of Imitation Learning

Nived Rajaraman, Lin F. Yang+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用数 2

ひとこと要約

この論文は、一般の確率的エキスパートを想定した際の、エピソード的マルコフ決定過程における模倣学習の最初のミニマックス統計的限界を確立している。$N$ 個のエキスパートの軌道が与えられたときでさえ、サブ最適性は $\lesssim |\mathcal{S}| H^2 \log N / N$ に有界である。本稿では、遷移モデルが既知の場合に、$\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$ のサブ最適性を達成する、新しい最小距離アルゴリズムを提案している。これは、従来の境界と比較して少なくとも $\sqrt{H}$ の改善を達成している。

ABSTRACT

Imitation learning (IL) aims to mimic the behavior of an expert policy in a sequential decision-making problem given only demonstrations. In this paper, we focus on understanding the minimax statistical limits of IL in episodic Markov Decision Processes (MDPs). We first consider the setting where the learner is provided a dataset of $N$ expert trajectories ahead of time, and cannot interact with the MDP. Here, we show that the policy which mimics the expert whenever possible is in expectation $\lesssim \frac{|\mathcal{S}| H^2 \log (N)}{N}$ suboptimal compared to the value of the expert, even when the expert follows an arbitrary stochastic policy. Here $\mathcal{S}$ is the state space, and $H$ is the length of the episode. Furthermore, we establish a suboptimality lower bound of $\gtrsim |\mathcal{S}| H^2 / N$ which applies even if the expert is constrained to be deterministic, or if the learner is allowed to actively query the expert at visited states while interacting with the MDP for $N$ episodes. To our knowledge, this is the first algorithm with suboptimality having no dependence on the number of actions, under no additional assumptions. We then propose a novel algorithm based on minimum-distance functionals in the setting where the transition model is given and the expert is deterministic. The algorithm is suboptimal by $\lesssim \min \{ H \sqrt{|\mathcal{S}| / N} , |\mathcal{S}| H^{3/2} / N \}$, showing that knowledge of transition improves the minimax rate by at least a $\sqrt{H}$ factor.

研究の動機と目的

• エピソード的マルコフ決定過程（MDP）における模倣学習の根本的統計的限界を理解すること。
• さまざまな設定、例えば受動的デモンストレーションや能動的クエリリングを含む、模倣学習におけるサブ最適性のタイトなミニマックス下界を導出すること。
• MDPの遷移モデルが既知である場合に、模倣学習のミニマックスレートを向上させる新しいアルゴリズムを開発すること。
• 遷移モデルの知識がミニマックスレートを少なくとも $\sqrt{H}$ 要因改善することを確立すること。

提案手法

• 論文は、環境との相互作用なしに、$N$ 個のエキスパートの軌道を持つエピソード的MDPにおける模倣学習のミニマックスサブ最適性を分析している。
• エキスパートが決定的であっても、学習者が相互作用中にエキスパートをクエリできる場合でも、サブ最適性に $\gtrsim |\mathcal{S}| H^2 / N$ の下界が成立することを示している。
• 遷移モデルが既知でエキスパートが決定的な場合に適した、新しい最小距離関数型に基づくアルゴリズムを提案している。
• このアルゴリズムは、エキスパートの行動と学習者の方策の間の距離関数を最小化することで、MDPの構造的知識を活用している。
• アルゴリズムのサブ最適性は $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$ に有界であり、より高いサンプル効率を示している。
• 分析により、遷移モデルの知識があることで、未知の遷移設定と比較してミニマックスレートが $\sqrt{H}$ 要因改善することが示された。

実験結果

リサーチクエスチョン

• RQ1 一般の確率的エキスパートを想定した場合、$N$ 個のエキスパートの軌道を持つエピソード的MDPにおける模倣学習の根本的統計的限界は何か？
• RQ2 エキスパートが決定的であるか、能動的クエリリングが許可される場合、ミニマックスサブ最適性の境界はどのように変化するか？
• RQ3 MDPの遷移モデルの知識を活用することで、より高いサンプル効率を達成できる新しいアルゴリズムは存在するか？
• RQ4 遷移モデルが既知である場合に、模倣学習で達成可能な最適なサブ最適性レートは何か？
• RQ5 ミニマックスレートは、状態空間サイズ $|\mathcal{S}|$、エピソード長 $H$、デモンストレーション数 $N$ に対してどのようにスケーリングされるか？

主な発見

• エキスパートが確率的で、学習者が $N$ 個の軌道を入手できる場合、模倣学習のミニマックスサブ最適性は $\lesssim |\mathcal{S}| H^2 \log N / N$ に上界がある。
• エキスパートが決定的であっても、学習者が相互作用中にエキスパートをクエリできる場合でも、$\gtrsim |\mathcal{S}| H^2 / N$ の下界が成立する。
• 遷移モデルが既知である場合、提案された最小距離アルゴリズムは $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$ のサブ最適性を達成する。
• このアルゴリズムは、遷移モデルが未知の設定と比較して少なくとも $\sqrt{H}$ 要因のミニマックスレートの改善を達成している。
• 与えられた仮定の下では、新しいアルゴリズムのサブ最適性境界は行動数に依存しない。
• これらの結果により、遷移モデルの知識がミニマックス意味で模倣学習のサンプル効率を顕著に向上させることを確立した。