[논문 리뷰] ADAPT: Zero-Shot Adaptive Policy Transfer for Stochastic Dynamical Systems

J. Harrison, Animesh Garg외 5명|arXiv (Cornell University)|2017. 07. 14.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

AdaPT는 시뮬레이션에서의 오프라인 정책 학습과 온라인 튜브 기반 모델 예측 제어(MPC)를 조합하여, 동역학 불일치가 알려지지 않은 새로운 물리 시스템에 강화학습 정책을 제로샷, 안전하고 강력하게 전이할 수 있도록 한다. 이는 상태 및 제어 편차가 유계임을 보장하며, 모델링되지 않은 외란이 존재하는 상황에서 직접 정책 전이보다 평균 보상이 50–300% 더 높다.

ABSTRACT

Model-free policy learning has enabled robust performance of complex tasks with relatively simple algorithms. However, this simplicity comes at the cost of requiring an Oracle and arguably very poor sample complexity. This renders such methods unsuitable for physical systems. Variants of model-based methods address this problem through the use of simulators, however, this gives rise to the problem of policy transfer from simulated to the physical system. Model mismatch due to systematic parameter shift and unmodelled dynamics error may cause sub-optimal or unsafe behavior upon direct transfer. We introduce the Adaptive Policy Transfer for Stochastic Dynamics (ADAPT) algorithm that achieves provably safe and robust, dynamically-feasible zero-shot transfer of RL-policies to new domains with dynamics error. ADAPT combines the strengths of offline policy learning in a black-box source simulator with online tube-based MPC to attenuate bounded model mismatch between the source and target dynamics. ADAPT allows online transfer of policy, trained solely in a simulation offline, to a family of unknown targets without fine-tuning. We also formally show that (i) ADAPT guarantees state and control safety through state-action tubes under the assumption of Lipschitz continuity of the divergence in dynamics and, (ii) ADAPT results in a bounded loss of reward accumulation relative to a policy trained and evaluated in the source environment. We evaluate ADAPT on 2 continuous, non-holonomic simulated dynamical systems with 4 different disturbance models, and find that ADAPT performs between 50%-300% better on mean reward accrual than direct policy transfer.

연구 동기 및 목표

• 모델링되지 않은 동역학 또는 파rameter 불일치가 존재하는 물리적 로봇에 대해 시뮬레이션에서 학습된 정책을 전이하는 데 도전하는 문제를 해결한다.
• 실제 하드웨웨어에서의 안전하지 않은 탐색을 방지하기 위해 온라인 미세조정 없이 제로샷 정책 전이를 가능하게 한다.
• 유계 동역학 불일치 하에서 정책 전이 중 안전성과 강건성을 확보한다.
• 도메인 내 학습과 비교해 상태 및 제어 편차가 유계임을 공식적으로 보장하고, 보상 누적 손실이 제한됨을 보장한다.
• 연속적이고 비홀로노믹 시스템에서 다양한 외란 모델에 대해 성능 향상을 입증한다.

제안 방법

• 정확한 동역학을 갖춘 블랙박스 소스 시뮬레이터에서 딥 강화학습 정책을 오프라인으로 학습한다.
• 외란 없이 학습된 정책을 소스 시뮬레이터에서 실행하여 노멀 트랙젝터리를 생성한다.
• 대상 시스템의 온라인, 국소 선형화, 시간에 따라 변하는 동역학 모델을 사용하여 노멀 트랙젝터리 주변에 상태-행동 튜브를 구성한다.
• 실시간으로 정책을 적응시키기 위해 튜브 기반 모델 예측 제어(MPC)를 적용하여 동적 타당성과 유계 동역학 불일치에 대한 강건성을 확보한다.
• 동역학 편차의 리프시츠 연속성을 활용하여 튜브 내에서 상태 및 제어 편차가 유계임을 공식적으로 유도한다.
• MPC 제어기가 튜브 내에서 시스템을 안정화시켜, 외란 하에서도 안전성과 성능을 유지한다.

실험 결과

연구 질문

• RQ1 모델링되지 않은 동역학 불일치가 존재하는 새로운 물리 시스템에 대해 강화학습 정책의 증명 가능하게 안전하고 강건한 제로샷 전이를 달성할 수 있는가?
• RQ2 유계 동역학 오차가 존재하는 시스템 간 정책 전이 시 상태 및 제어 편차에 대해 어떤 보장을 제공할 수 있는가?
• RQ3 모델링되지 않은 외란 또는 파rameter 불일치가 존재할 때 AdaPT의 성능은 직접 정책 전이와 비교해 어떻게 되는가?
• RQ4 대상 환경에서 전용으로 학습된 정책과 비교해 AdaPT는 보상 누적 손실이 제한됨을 보장하는가?
• RQ5 비홀로노믹이고 연속적인 동역학 시스템에서 다양한 외란 모델에 대해 AdaPT는 어떻게 성능을 발휘하는가?

주요 결과

• AdaPT는 시뮬레이션된 자동차 및 로봇 암 환경에서 네 가지 외란 모델에 걸쳐 직접 정책 전이 대비 평균 보상 누적에서 50–300% 더 높은 성능을 기록한다.
• 특히 동역학 편차의 리프시츠 연속성이라는 미약한 가정 하에, 상태 및 제어 편차가 튜브를 통해 유계임을 알고리즘이 보장한다.
• 대상 환경에서 전용으로 학습된 정책과 비교해 보상 누적 손실이 제한됨을 AdaPT가 보장한다.
• 가감성 제어 오차 및 프로세스 노이즈의 경우, AdaPT는 직접 전이보다 유의미하게 뛰어난 성능을 보이며, 더 낮은 정규화된 비용과 더 나은 추적 성능을 제공한다.
• 파라미터 오차(예: 로봇 암의 질량 변화)가 존재할 경우, AdaPT는 직접 전이와 유사한 성능을 유지하지만 불안정성과 오버슈트를 방지한다.
• 동역학 불일치가 유계이고 리프시츠 연속일 경우, 대상 시스템의 동역학이 완전히 알려지지 않은 상태에서도 이 방법이 효과적이다.