[논문 리뷰] On the Sample Complexity of Stability Constrained Imitation Learning

Stephen Tu, Alexander Robey외 2명|arXiv (Cornell University)|2021. 02. 18.

Reinforcement Learning in Robotics참고 문헌 57인용 수 17

한 줄 요약

이 논문은 전문가 정책에서의 강건한 궤적 수렴을 측정하기 위해 증분 이득 안정성(Incremental Gain Stability, IGS)을 도입하고, IGS 제약을 가진 타깃 학습 알고리즘이 강력한 볼록성 없이도 작업 시간 $T$에 대해 비선형적으로 스케일링되는 샘플 복잡도 경계를 달성함을 보여준다. 핵심 결과는 전문가 정책이 IGS를 보일 경우 타깃 학습이 증명 가능하게 더 효율적이며, 일반화 오차가 $T^{1-1/a}$ 비례로 감소함을 보여주며, 여기서 $a \geq 1$은 안정성 강도를 정량화한다.

ABSTRACT

We study the following question in the context of imitation learning for continuous control: how are the underlying stability properties of an expert policy reflected in the sample-complexity of an imitation learning task? We provide the first results showing that a surprisingly granular connection can be made between the underlying expert system's incremental gain stability, a novel measure of robust convergence between pairs of system trajectories, and the dependency on the task horizon $T$ of the resulting generalization bounds. In particular, we propose and analyze incremental gain stability constrained versions of behavior cloning and a DAgger-like algorithm, and show that the resulting sample-complexity bounds naturally reflect the underlying stability properties of the expert system. As a special case, we delineate a class of systems for which the number of trajectories needed to achieve $\varepsilon$-suboptimality is sublinear in the task horizon $T$, and do so without requiring (strong) convexity of the loss function in the policy parameters. Finally, we conduct numerical experiments demonstrating the validity of our insights on both a simple nonlinear system for which the underlying stability properties can be easily tuned, and on a high-dimensional quadrupedal robotic simulation.

연구 동기 및 목표

• 연속 제어에서 전문가 정책의 안정성 특성이 타깃 학습의 샘플 복잡도에 미치는 영향을 이해하는 것.
• 수축 이론을 일반화하고 강건한 궤적 수렴을 정량화하는 새로운 증분 이득 안정성(IGS) 개념을 수립하는 것.
• 정책 클래스가 IGS를 유지하도록 제약을 가한 행동 클로닝과 DAgger 유사 알고리즘을 개발하고, 증명 가능한 일반화 경계를 확보하는 것.
• 약한 안정성일 경우 샘플 복잡도가 악화되는 것을 방지하기 위해 손실 함수의 강력한 볼록성 조건이 필요 없도록 하는 것.
• 비선형 및 고차원 로봇 시스템에서 수치 실험을 통해 이론적 통찰을 검증하는 것.

제안 방법

• 시스템 궤적 간 강건한 수렴을 측정하는 새로운 척도로 증분 이득 안정성(IGS)을 제안하며, $a \in [1, \infty)$로 매개변수화되며, $a$가 클수록 더 강한 지수 수렴을 의미한다.
• 정책 클래스가 IGS를 유지하도록 제약을 가한 IGS 제약 행동 클로닝과 DAgger 유사 알고리즘을 수립한다.
• 라데마처 복잡도와 안정성 기반 정규화를 사용하여 일반화 경계를 유도하며, 이 경계가 $T^{1-1/a}$에 비례함을 연결한다. 여기서 $T$는 작업 시간이다.
• 에psilon-하위최적성의 샘플 복잡도가 $m \gtrsim q \cdot T^{2a(1-1/a^2)} \cdot \varepsilon^{-2a}$로 스케일링됨을 증명하며, 여기서 $q$는 효과적 매개변수 수이다.
• 집중 불등식과 재귀적 오차 전파를 사용하여 기대 타깃 손실을 경계하며, IGS 조건 하에서 오차가 $T^{1-1/a}$ 비례로 감소함을 보여준다.
• 조정 가능한 비선형 시스템과 고차원 4족 보행 로봇 시뮬레이터에서 수치 실험을 통해 이론을 검증한다.

실험 결과

연구 질문

• RQ1 전문가 정책의 증분 이득 안정성(IGS)이 타깃 학습의 샘플 복잡도에 어떤 영향을 미치는가?
• RQ2 손실 함수의 강력한 볼록성이 없이도 IGS 제약 타깃 학습이 작업 시간 $T$에 대해 비선형 의존성을 달성할 수 있는가?
• RQ3 IGS 매개변수 $a$와 타깃 학습에서의 일반화 오차 경계 사이의 정확한 관계는 무엇인가?
• RQ4 제안된 IGS 제약 DAgger 유사 알고리즘이 표준 DAgger에 비해 공변수 이동을 얼마나 효과적으로 완화하는가?
• RQ5 비선형 및 고차원 로봇 시스템에서 실제 적용 시 이론적 샘플 복잡도 경계가 얼마나 유지되는가?

주요 결과

• IGS 제약 행동 클로닝는 $m \gtrsim q \cdot T^{2a(1-1/a^2)} \cdot \varepsilon^{-2a}$개의 궤적을 필요로 하며, 전문가의 안정성 매개변수 $a$에 명시적인 의존성을 보인다.
• 일반화 오차 경계는 $T^{1-1/a}$ 비례로 스케일링되며, 이는 더 강한 안정성($a \to 1$)일 경우 $T$에 대해 비선형 의존성이 발생하고, 더 약한 안정성($a \to \infty$)일 경우 선형 이하로 악화됨을 의미한다.
• 모든 $a \in [1, \infty)$에 대해 샘플 복잡도 경계는 $T$에 대해 비선형이며, 정책 매개변수의 강력한 볼록성 가정 없이도 성립한다.
• 이론적 분석은 오차가 $\mathbb{E}[\ell] \lesssim L_{\Delta} \gamma (\zeta B_0^{\alpha_0} \bar{L})^{1/a^2} T^{(1-1/a)(1+1/a^2)} \left( \frac{E^{2a+1}(q \vee \log E)}{m} \right)^{1/(2a^2)}$ 비례로 감소함을 확인하며, 이는 $a$가 수렴 속도를 결정하는 데 핵심적 역할을 함을 입증한다.
• 수치 실험은 이론적 통찰이 실질적으로도 성립함을 확인하며, 비선형 시스템과 고차원 4족 보행 로봇에서 모두 더 높은 데이터 효율성을 보여준다.
• 이 결과는 수축 기반 학습에 대한 이전 관찰을 일반화하며, 안정성 강도와 샘플 복잡도 간의 연속적이고 정량적인 연결 고리를 제공한다.