[논문 리뷰] TaSIL: Taylor Series Imitation Learning

Daniel Pfrommer, Thomas T. C. K. Zhang외 2명|arXiv (Cornell University)|2022. 05. 30.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

TaSIL은 행동 복제를 향상시키기 위해 학습된 정책와 전문가 정책 간의 고차 미분 항의 차이를 페널티로 부여하는 새로운 이mitation 학습 방법을 제안한다. 증가하는 입력-상태 안정성(incremental input-to-state stability)을 활용하여, 테일러 급수 근사에서의 작은 오차가 작은 궤적 이탈로 이어지도록 보장함으로써, Õ(1/n) 스케일링을 가지는 일반화 경계를 달성하고, MuJoCo 환경에서 기준 모델들보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

We propose Taylor Series Imitation Learning (TaSIL), a simple augmentation to standard behavior cloning losses in the context of continuous control. TaSIL penalizes deviations in the higher-order Taylor series terms between the learned and expert policies. We show that experts satisfying a notion of $ extit{incremental input-to-state stability}$ are easy to learn, in the sense that a small TaSIL-augmented imitation loss over expert trajectories guarantees a small imitation loss over trajectories generated by the learned policy. We provide sample-complexity bounds for TaSIL that scale as $ ilde{\mathcal{O}}(1/n)$ in the realizable setting, for $n$ the number of expert demonstrations. Finally, we demonstrate experimentally the relationship between the robustness of the expert policy and the order of Taylor expansion required in TaSIL, and compare standard Behavior Cloning, DART, and DAgger with TaSIL-loss-augmented variants. In all cases, we show significant improvement over baselines across a variety of MuJoCo tasks.

연구 동기 및 목표

• 테일러 급수 항을 통해 전문가의 강건성을 직접 정책에 통합하여 오프라인 이mitation 학습에서의 분포 이탈 문제를 해결한다.
• 학습된 정책의 궤적에서 작은 TaSIL 보정 손실이 전문가 궤적에서 작은 이mitation 오차로 이어진다는 이론적 보장을 제공한다.
• 고차 미분 항에 대한 액세스가 없는 전문가에 적용 가능한 유한 차분 근사를 개발한다.
• n개의 전문가 시범 데이터에 대해 실현 가능한 설정에서 일반화 경계가 Õ(1/n) 스케일링을 가지도록 확립한다.
• 이론을 경험적으로 검증하여 더 강건한 전문가일수록 TaSIL에서 더 낮은 차수의 테일러 전개가 필요하다는 점을 보이고, 표준 BC, DART, DAgger와의 성능 향상을 입증한다.

제안 방법

• 표준 행동 복제 손실에, 전문가 정책와 학습된 정책의 p차 미분 항 근사 간의 차이에 대한 페널티를 추가하여 TaSIL을 보완한다.
• 이 방법은 전문가 정책가 증가하는 입력-상태 안정성(δ-ISS)을 만족한다고 가정하며, 이는 교란에 대한 회복 능력을 보장한다.
• 해당 행렬(Jacobians) 또는 헤시안(Hessians)에 대한 직접 액세스가 불가능할 경우 고차 도함수를 추정하기 위해 유한 차분 근사를 사용한다.
• 손실 함수에는 0차, 1차, 2차 테일러 항에 대한 가중치 항이 포함되어 있으며, 성능 최적화를 위해 하이퍼파ram터 λ₀, λ₁, λ₂를 조정한다.
• 이론적 분석을 통해 TaSIL의 일반화 문제를 전문가 데이터 기반의 지도 학습 문제로 환원하여 유한 샘플 경계를 도출한다.
• 실험은 4500개의 학습 반복, Adam 옵티마이저, 코사인 학습률 감소를 사용한 MuJoCo 환경에서 수행되며, TaSIL 보정 BC, DART, DAgger를 비교한다.

실험 결과

연구 질문

• RQ1 전문가 궤적에서 작은 TaSIL 보정 이mitation 손실이 학습된 정책의 궤적에서 작은 이mitation 오차를 보장하는 조건은 무엇인가?
• RQ2 TaSIL에서 요구되는 테일러 전개의 차수는 전문가 정책의 강건성과 어떻게 관련이 있는가?
• RQ3 오프라인 이mitation 학습 설정에서 TaSIL은 표준 행동 복제, DART, DAgger보다 더 나은 일반화를 달성할 수 있는가?
• RQ4 실현 가능한 설정에서 TaSIL의 샘플 복잡도는 무엇이며, Õ(1/n) 스케일링을 따른다?
• RQ5 실제로 고차 도함수를 추정하기 위해 유한 차분 근사는 얼마나 효과적인가?

주요 결과

• 실현 가능한 설정에서 TaSIL은 전문가 시범 데이터 수 n에 대해 Õ(1/n) 스케일링을 가지는 일반화 경계를 달성한다.
• TaSIL에서 요구되는 테일러 전개의 차수는 전문가의 강건성과 상관이 있다: 더 강건한 전문가일수록 더 낮은 차수의 전개가 충분하다.
• MuJoCo 환경에서 TaSIL 보정 행동 복제가 표준 BC, DART, DAgger를 모두 능가하며, 특히 BC가 실패하는 어려운 과제에서 뚜렷한 성능 향상을 보인다.
• 고차원 관측 공간(예: Humanoid, Ant)에서는 다수의 유한 차분 벡터를 사용할 경우 TaSIL 성능이 크게 향상된다.
• 유한 차분 근사는 고차 도함수에 대한 직접 액세스가 불가능한 경우에도 효과적인 TaSIL 학습을 가능하게 한다.
• 경험적 결과는 TaSIL이 고차 정책 역학을 명시적으로 일치시킴으로써 전문가 정책에서의 궤적 이탈을 줄임을 확인한다.