[논문 리뷰] Iterative Linearized Control: Stable Algorithms and Complexity Guarantees

Vincent Roulet, Siddhartha S Srinivasa외 2명|arXiv (Cornell University)|2019. 08. 20.

Advanced Control Systems Optimization인용 수 6

한 줄 요약

이 논문은 현대의 일阶 최적화 복잡도 이론의 프레임워크 안에서 반복 선형화를 활용한 비선형 제어를 위한 정규화된 가우스-뉴턴 알고리즘을 제안한다. 파이토치를 통한 자동 미분을 활용하여, 최악의 경우 수렴 보장을 확보하면서도 실질적으로 안정적이고 가속화된 수렴을 달성하였으며, 재현 가능성을 위해 공개된 코드를 제공한다.

ABSTRACT

We examine popular gradient-based algorithms for nonlinear control in the light of the modern complexity analysis of first-order optimization algorithms. The examination reveals that the complexity bounds can be clearly stated in terms of calls to a computational oracle related to dynamic programming and implementable by gradient back-propagation using machine learning software libraries such as PyTorch or TensorFlow. Finally, we propose a regularized Gauss-Newton algorithm enjoying worst-case complexity bounds and improved convergence behavior in practice. The software library based on PyTorch is publicly available.

연구 동기 및 목표

• ILQR나 DDP와 같은 인기 있는 비선형 제어 알고리즘들을 현대의 일阶 최적화 복잡도 분석 프레임워크 안에서 재구성하기.
• 반복 선형화 방법의 핵심 복잡도 측도로 자동 미분 오라클에 대한 호출 횟수가 되며, 이는 파이토치 또는 텐서플로우를 통해 구현 가능하다는 것을 규명하기.
• 프록시 정규화와 캐틀리틱스 외삽 기법을 도입하여 ILQR의 수렴 안정성과 속도를 향상시키기.
• 반복 선형화와 가우스-뉴턴 유형의 단계를 기반으로 한 비선형 제어 알고리즘의 최악의 경우 복잡도 한계를 설정하기.
• Pendulum 및 두 링크 암 제어 작업에 대한 실증적 평가를 통해 실질적인 수렴 개선을 입증하기.

제안 방법

• 유한 시간 영역 비선형 제어 문제를 복합 최적화 문제로 재구성하여 일阶 최적화 기법의 적용을 가능하게 하기.
• 파이토치를 통한 자동 미분을 활용해 선형화된 부분 문제와 관련된 이중 문제를 해결함으로써 가우스-뉴턴 단계를 계산하기.
• 가우스-뉴턴 단계의 안정성을 확보하고 비볼록 설정에서도 수렴을 보장하기 위해 프록시 정규화를 도입하기.
• 최악의 경우 복잡도 보장을 유지하면서 수렴 속도를 가속화하기 위해 캐틀리틱스 외삽 기법을 적용하기.
• 파이토치의 기울기 전파 기능을 활용해 제어 경로 전반에 걸쳐 엔드 투 엔드 백프로파게이션을 가능하게 하기.
• 5단계의 버닝 인 단계 이후 일정한 스텝 사이즈를 사용하고, 기준선 ILQR의 경우 공정한 비교를 위해 선형 탐색을 적용하기.

실험 결과

연구 질문

• RQ1 반복 선형화 기반 비선형 제어 방법은 현대의 일阶 최적화 복잡도 이론으로 분석될 수 있는가?
• RQ2 파이토치나 텐서플로우와 같은 현대의 머신러닝 프레임워크에서 반복 선형화 알고리즘의 핵심 복잡도 측도는 무엇인가?
• RQ3 프록시 정규화와 외삽 기법은 ILQR 유형 알고리즘의 수렴 특성과 안정성에 어떻게 기여하는가?
• RQ4 비선형 제어를 위한 정규화된 가우스-뉴턴 방법은 최악의 경우 복잡도 한계를 확보하면서도 실질적인 수렴 성능을 향상시킬 수 있는가?
• RQ5 자기 미분는 비선형 제어의 부분 문제 해결을 위해 전통적인 동적 프로그래밍을 얼마나 대체할 수 있는가?

주요 결과

• 제안된 가속화된 정규화된 가우스-뉴턴 알고리즘은 역퍼운드 펜듈럼 및 두 링크 암 제어 문제 모두에서 안정적이고 빠른 수렴을 달성한다.
• 표준 ILQR는 아르미조 선형 탐색에 의존하여 진동하는 행동을 보이지만, 정규화된 ILQR는 더 뛰어난 수렴 안정성을 확보한다.
• 자동 미분 오라클에 대한 호출 횟수가 핵심 복잡도 측도로 규명되었으며, 이는 현대 딥러닝 실천과 일치한다.
• 외삽 및 정규화를 통해 실질적 성능 향상을 유지하면서도 최악의 경우 복잡도 보장을 확보한다.
• 실증 결과에 따르면, 가속화된 정규화된 ILQR는 표준 ILQR 및 정규화된 ILQR보다 수렴 속도와 함수 값 감소 측면에서 뛰어난 성능을 보였다.
• 소프트웨어 구현은 깃허브에 공개되어 있어 재현 가능하며 강화 학습 응용 분야로의 확장도 가능하다.