[논문 리뷰] DiffTune: Auto-Tuning through Auto-Differentiation

Cheng Sheng, Minkyung Kim외 5명|arXiv (Cornell University)|2022. 09. 20.

Iterative Learning Control Systems인용 수 7

한 줄 요약

DiffTune은 동적 시스템과 컨트롤러를 계산 그래프로 전개하여 자동 미분을 활용해 제어기 파라미터를 최적화하는 기울기 기반 자동 튜닝 프레임워크입니다. 이는 비선형 제어기의 효율적이고 안정적인 튜닝을 가능하게 합니다. 12차원 파라미터 공간에서 10회의 시험을 통해 퀼로터 실험에서 추적 오차를 3.5배 감소시켰으며, 1차 미분 정보의 효과적 활용과 불확실성 보상에 위한 $π$-적응 제어를 통해 최신 기술들을 능가했습니다.

ABSTRACT

The performance of robots in high-level tasks depends on the quality of their lower-level controller, which requires fine-tuning. However, the intrinsically nonlinear dynamics and controllers make tuning a challenging task when it is done by hand. In this paper, we present DiffTune, a novel, gradient-based automatic tuning framework. We formulate the controller tuning as a parameter optimization problem. Our method unrolls the dynamical system and controller as a computational graph and updates the controller parameters through gradient-based optimization. The gradient is obtained using sensitivity propagation, which is the only method for gradient computation when tuning for a physical system instead of its simulated counterpart. Furthermore, we use $\mathcal{L}_1$ adaptive control to compensate for the uncertainties (that unavoidably exist in a physical system) such that the gradient is not biased by the unmodelled uncertainties. We validate the DiffTune on a Dubin's car and a quadrotor in challenging simulation environments. In comparison with state-of-the-art auto-tuning methods, DiffTune achieves the best performance in a more efficient manner owing to its effective usage of the first-order information of the system. Experiments on tuning a nonlinear controller for quadrotor show promising results, where DiffTune achieves 3.5x tracking error reduction on an aggressive trajectory in only 10 trials over a 12-dimensional controller parameter space.

연구 동기 및 목표

• 고차원 파라미터 공간을 가진 비선형 로봇 제어기의 수동 튜닝이 비효율적이고 불안정한 문제를 해결하기 위해.
• 실시간 구현에 적합하고 물리적 시스템 데이터와 호환되며 안정적인 자동 튜닝 프레임워크를 개발하기 위해.
• 시스템 모델이 불완전하거나 불확실한 경우에도 자동 미분을 활용해 제어기 파라미터의 기울기 기반 최적화를 가능하게 하기 위해.
• 모델링되지 않은 동역학을 보완하고 물리적 시스템에서 기울기 편향을 방지하기 위해 $π$-적응 제어를 통합하기 위해.
• 복잡한 로봇 작업에서 기존의 모델 기반 및 모델리스 자동 튜닝 방법들과 비교해 뛰어난 성능과 효율성을 입증하기 위해.

제안 방법

• 동적 시스템과 컨트롤러를 계산 그래프로 전개하여 제어기 튜닝을 파라미터 최적화 문제로 공식화하기.
• 성능 손실(예: 추적 오차)의 기울기를 자동 미분과 민감도 전파를 통해 제어기 파라미터에 대해 계산하기.
• 계산된 기울기를 기반으로 기울기 하강법을 적용하여 반복적으로 제어기 파라미터를 업데이트하기.
• 튜닝 중에 모델링되지 않은 불확실성으로 인한 편향을 줄이고 시스템을 안정화하기 위해 $π$-적응 제어를 통합하기.
• 이론적으로 암시적 미분이 가능한 PID, MPC, LQR 등의 구조를 활용하여 제어기의 미분 가능성 확보하기.
• 10초 동안의 위치 추적 오차 제곱 노름을 기반으로 한 손실 함수를 사용하며, 실제 환경 조건을 시뮬레이션하기 위해 프로세스 노이즈를 추가하기.

실험 결과

연구 질문

• RQ1 자기 미분을 통한 기울기 기반 자동 튜닝이 기존의 모델리스 및 모델 기반 자동 튜닝 방법들과 비교해 뛰어난 성능과 효율성을 달성할 수 있는가?
• RQ2 모델링되지 않은 시스템 불확실성이 존재할 경우 $π$-적응 제어 통합이 기울기 안정성과 튜닝 성능에 어떤 영향을 미치는가?
• RQ3 고차원 제어기 파라미터 공간(예: 12차원)에서 소수의 시험 횟수 내에 추적 오차를 얼마나 줄일 수 있는가?
• RQ4 학습률이 DiffTune 최적화 과정의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 DiffTune는 재튜닝 없이 다양한 공격적인 궤적에 일반화될 수 있는가?

주요 결과

• DiffTune는 12차원 파라미터 공간에서 10회의 시험만으로 퀸로터의 공격적인 3D 도넛 자세에서 추적 오차를 3.5배 감소시켰습니다.
• AutoTune와 SafeOpt-PSO와 같은 최신 자동 튜닝 기준보다 수렴 속도와 최종 성능 모두에서 뛰어난 성능을 보였습니다.
• 제거 분석 결과, 학습률이 수렴에 큰 영향을 미치는 것으로 확인되었습니다: 높은 학습률(예: 0.1)은 최소값 근처에서 진동을 유도하는 반면, 낮은 학습률(0.001)은 더 부드럽지만 느린 수렴을 유도했습니다.
• $π$-적응 제어 통합으로 인해 안정성이 향상되었으며, 불확실성을 처리하기 위해 파라미터를 더 높은 값으로 조정해도 안정적인 튜닝이 가능했습니다.
• DiffTune는 재튜닝 없이도 다양한 궤적(2D 및 3D 원, 수직 도넛 등)에 대해 강력한 일반화 성능를 보였습니다.
• 계산 그래프 전개 과정에서 해석 가능성이 유지되어, 순수한 블랙박스 학습 접근 방식과는 구분되는 특징을 가졌습니다.