[논문 리뷰] Toward the Fundamental Limits of Imitation Learning

Nived Rajaraman, Lin F. Yang외 2명|arXiv (Cornell University)|2020. 01. 01.

Reinforcement Learning in Robotics인용 수 2

한 줄 요약

이 논문은 에피소딕 마르코프 결정 과정(MDP)에서의 이mitation learning에 대해 최초로 minimax 통계적 한계를 확립하며, 일반적인 스토케스틱 전문가의 경우조차도 $N$개의 전문가 트레이젝터리가 있을 때, 부분 최적성(suboptimality)이 $\lesssim |\mathcal{S}| H^2 \log N / N$로 유계임을 보여준다. 이는 전이 모델이 알려져 있을 때, $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$의 부분 최적성을 달성하는 새로운 최소거리 알고리즘을 제안하며, 이전의 경계보다 최소 $\sqrt{H}$의 개선을 이룬다.

ABSTRACT

Imitation learning (IL) aims to mimic the behavior of an expert policy in a sequential decision-making problem given only demonstrations. In this paper, we focus on understanding the minimax statistical limits of IL in episodic Markov Decision Processes (MDPs). We first consider the setting where the learner is provided a dataset of $N$ expert trajectories ahead of time, and cannot interact with the MDP. Here, we show that the policy which mimics the expert whenever possible is in expectation $\lesssim \frac{|\mathcal{S}| H^2 \log (N)}{N}$ suboptimal compared to the value of the expert, even when the expert follows an arbitrary stochastic policy. Here $\mathcal{S}$ is the state space, and $H$ is the length of the episode. Furthermore, we establish a suboptimality lower bound of $\gtrsim |\mathcal{S}| H^2 / N$ which applies even if the expert is constrained to be deterministic, or if the learner is allowed to actively query the expert at visited states while interacting with the MDP for $N$ episodes. To our knowledge, this is the first algorithm with suboptimality having no dependence on the number of actions, under no additional assumptions. We then propose a novel algorithm based on minimum-distance functionals in the setting where the transition model is given and the expert is deterministic. The algorithm is suboptimal by $\lesssim \min \{ H \sqrt{|\mathcal{S}| / N} , |\mathcal{S}| H^{3/2} / N \}$, showing that knowledge of transition improves the minimax rate by at least a $\sqrt{H}$ factor.

연구 동기 및 목표

• 에피소딕 마르코프 결정 과정(MDP)에서의 이mitation learning의 기본 통계적 한계를 이해하는 것.
• 수동적 제시와 활성 쿼리링을 포함한 다양한 설정에서 이mitation learning의 부분 최적성에 대한 날카운 minimax 하한을 유도하는 것.
• 전이 모델을 알고 있을 때 이를 활용하여 이mitation learning의 minimax 속도를 향상시키는 새로운 알고리즘을 개발하는 것.
• 전이 모델을 안다는 사실이 minimax 속도를 최소 $\sqrt{H}$ 요소만큼 향상시킨다는 것을 증명하는 것.

제안 방법

• 논문은 환경과의 상호작용 없이 $N$개의 전문가 트레이젝터리를 가진 에피소딕 MDP에서의 이mitation learning의 minimax 부분 최적성을 분석한다.
• 전문가가 결정론적이거나 학습자가 상호작용 중 전문가를 쿼리할 수 있는 경우조차도 부분 최적성에 대해 $\gtrsim |\mathcal{S}| H^2 / N$의 하한을 도출한다.
• 전이 모델이 알려져 있고 전문가가 결정론적일 경우를 대비해 최소거리 기능에 기반한 새로운 알고리즘을 제안한다.
• 알고리즘은 전문가의 행동과 학습자 정책 간의 거리 기능을 최소화하며, MDP의 구조적 지식을 활용한다.
• 알고리즘의 부분 최적성은 $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$로 유계이며, 더 높은 표본 효율성을 보여준다.
• 분석 결과, 전이 모델을 안다는 사실이 전이 모델이 알려지지 않은 경우에 비해 minimax 속도를 $\sqrt{H}$ 요소만큼 향상시킨다는 것을 밝혀낸다.

실험 결과

연구 질문

• RQ1 일반적인 스토케스틱 전문가의 경우, $N$개의 전문가 트레이젝터리를 가진 에피소딕 MDP에서의 이mitation learning의 기본 통계적 한계는 무엇인가?
• RQ2 전문가가 결정론적이거나 활성 쿼리링이 허용될 경우, minimax 부분 최적성 경계는 어떻게 변화하는가?
• RQ3 MDP의 전이 모델을 안다는 사실을 활용하여 새로운 알고리즘이 더 높은 표본 효율성을 달성할 수 있는가?
• RQ4 전이 모델이 알려져 있을 때, 이mitation learning에서 달성 가능한 최적의 부분 최적성 속도는 무엇인가?
• RQ5 minimax 속도는 상태 공간 크기 $|\mathcal{S}|$, 에피소드 길이 $H$, 그리고 제시 수 $N$에 따라 어떻게 스케일링되는가?

주요 결과

• 전문가가 스토케스틱이고 학습자가 $N$개의 트레이젝터리를 가질 때, 이mitation learning의 minimax 부분 최적성은 $\lesssim |\mathcal{S}| H^2 \log N / N$로 상한이 존재한다.
• 전문가가 결정론적이거나 학습자가 상호작용 중 전문가를 활성 쿼리할 수 있는 경우조차도, 하한 $\gtrsim |\mathcal{S}| H^2 / N$이 성립한다.
• 전이 모델이 알려져 있을 경우, 제안된 최소거리 알고리즘이 $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$의 부분 최적성을 달성한다.
• 이 알고리즘은 전이 모델이 알려지지 않은 설정에 비해 최소 $\sqrt{H}$ 요소만큼 minimax 속도를 향상시킨다.
• 제시된 가정 하에, 이 새로운 알고리즘의 부분 최적성 경계는 액션 수에 대한 의존성이 없다.
• 결과적으로, 전이 모델을 안다는 사실이 minimax 관점에서 이mitation learning의 표본 효율성을 크게 향상시킨다는 것을 입증한다.