[논문 리뷰] Deluca -- A Differentiable Control Library: Environments, Methods, and Benchmarking

Paula Gradu, John Hallman외 8명|arXiv (Cornell University)|2021. 02. 19.

Model Reduction and Neural Networks참고 문헌 29인용 수 5

한 줄 요약

Deluca는 JAX를 사용하여 물리기반 시뮬레이션 동역학을 자동 미분할 수 있도록 해주는 오픈소스로, 기울기 기반 제어 방법을 가속화하는 Differentiable 제어 라이브러리입니다. 고전적인 제어 작업용으로는 Differentiable 환경을 제공하고, 새로운 의료 산소공급기 시뮬레이터도 포함하여 JIT 컴파일을 통해 시뮬레이션 속도를 1000배 이상 향상시켰으며, 증명 가능 보장이 있는 적응형 및 적대적 제어 신규 방법을 가능하게 합니다.

ABSTRACT

We present an open-source library of natively differentiable physics and robotics environments, accompanied by gradient-based control methods and a benchmark-ing suite. The introduced environments allow auto-differentiation through the simulation dynamics, and thereby permit fast training of controllers. The library features several popular environments, including classical control settings from OpenAI Gym. We also provide a novel differentiable environment, based on deep neural networks, that simulates medical ventilation. We give several use-cases of new scientific results obtained using the library. This includes a medical ventilator simulator and controller, an adaptive control method for time-varying linear dynamical systems, and new gradient-based methods for control of linear dynamical systems with adversarial perturbations.

연구 동기 및 목표

• 강화학습 및 제어 분야에서 오픈소스이자 천연 Differentiable 시뮬레이션 환경의 부족을 해결하기 위해.
• 시뮬레이션 동역학을 통한 자동 미분을 제공함으로써 기울기 기반 제어기 학습을 빠르게 할 수 있도록 하기 위해.
• 예를 들어 적응형 제어 및 외란 하에서의 강건 제어와 같은 파라미터가 필요한 시스템 동역학의 도함수를 요구하는 새로운 제어 방법을 지원하기 위해.
• LQR, GPC, H-무한대 제어를 포함한 기울기 기반 제어 알고리즘을 위한 벤치마킹 세트를 제공하기 위해.
• 의료 산소공급기 제어와 같이 Differentiable 시뮬레이터를 사용한 데이터 효율적이고 종단 간(end-to-end) 학습된 제어기의 훈련을 가능하게 하기 위해.

제안 방법

• JAX의 자동 미분 및 JIT 컴파일 기능을 활용하여 연속 시간 동역적 시스템의 Differentiable 시뮬레이션을 가능하게 합니다.
• OpenAI Gym 환경의 변형과 딥러닝 기반 의료 산소공급기 시뮬레이터를 포함한 Differentiable 환경 세트를 구현합니다.
• 선형 및 비선형 시스템에 대한 Differentiable 동역학을 지원하여 상태 전이 및 비용 함수를 통한 기울기 계산을 가능하게 합니다.
• 기능형 프로그래밍 원리(JAX.lax.scan 등)를 사용하여 시뮬레이션 루프를 최적화하고, JIT 컴파일 후 1단계당 나노초 이하의 추론 시간을 달성합니다.
• 오차 피드백이 있는 AdaGPC, GPC, LQR와 같은 최신 기울기 기반 제어 방법을 시스템 동역학을 천연로 Differentiable하게 통합합니다.
• 사용자가 신경망 기반 환경을 포함한 커스터마이징 가능한 Differentiable 환경을 정의할 수 있도록 모듈러한 API를 제공합니다.

실험 결과

연구 질문

• RQ1 Differentiable 시뮬레이션은 연속 제어 작업에서 제어 정책의 훈련 속도와 샘플 효율성을 향상시킬 수 있는가?
• RQ2 Differentiable 시뮬레이션은 시간에 따라 변화하는 선형 시스템에 대한 적응형 제어 방법의 성능과 수렴 속도를 어떻게 향상시키는가?
• RQ3 의료 산소공급기 제어와 같은 학습 기반 제어에서 Differentiable 시뮬레이터가 데이터 및 계산 요구량을 얼마나 줄일 수 있는가?
• RQ4 오차 피드백이 있는 GPC와 같은 기울기 기반 제어 방법이 적대적 외란 하에서 LQR 및 H-무한대 제어와 비교해 어떻게 성능을 냅니다?
• RQ5 모델-프리 정책 기울기 방법과 Differentiable 동역학 기반 최적화 사이의 계산 및 통계적 트레이드오프는 무엇인가요?

주요 결과

• Deluca는 표준 NumPy 기반 구현 대비 시뮬레이션 시간을 1000배 이상 단축시켰으며, JIT 컴파일 후 반복당 38 ns로 단축되었습니다.
• Differentiable 산소공급기 시뮬레이터 덕분에 실세계 데이터나 하이퍼파rameter 튜닝의 필요성을 줄여 데이터 효율적인 제어기 학습이 가능해졌습니다.
• 역퍼레드럼 작업에서 AdaGPC 및 GPC와 같은 기울기 기반 제어 방법이 iLQR 및 LQR보다 시간에 따라 변화하는 외란과 적대적 외란에 더 뛰어난 강건성을 보였습니다.
• 라이브러리는 몬테카를로 추정이 필요 없는 정책 기울기의 직접 계산을 가능하게 하여 분산을 감소시키고 결정론적 시스템에서 확률적 정책의 필요성을 제거했습니다.
• Differentiable 동역학은 기울기 기반 최적화를 통해 효율적이고 결정론적인 제어 정책 최적화를 가능하게 하여, 0차 또는 가능성 비율 기반 기울기 추정기 대비 샘플 효율성과 계산 복잡도에서 뚜렷한 성능 향상을 이룹니다.
• 벤치마킹 결과, 오차 피드백이 있는 GPC는 가우시안, 사인파, 일정 외란 하에서 LQR 및 H-무한대 제어를 능가하는 성능을 보였으며, Differentiable 강건 제어의 가치를 입증했습니다.