[논문 리뷰] Higher-order algorithms and implicit regularization for nonlinearly parameterized adaptive control

Nicholas M. Boffi, Jean-Jacques Slotine|arXiv (Cornell University)|2019. 12. 31.

Piezoelectric Actuators and Control인용 수 7

한 줄 요약

이 논문은 비선형적으로 파arameter화된 시스템을 위한 고차수, 전역 수렴성 있는 적응 제어 알고리즘을 유도하기 위해 Bregman 라그랑지안을 사용하는 변분 프레임워크를 제안한다. 볼록 잠재함수를 통한 비유클리드 기하학의 통합을 통해 모델 파라미터를 암묵적으로 정규화함으로써 희소성과 일반화 성능 향상을 가능하게 하며, 이는 모멘텀 강화된 적응을 통한 신경망 가중치 학습에서 입증되었다.

ABSTRACT

Stable concurrent learning and control of dynamical systems is the subject of adaptive control. Adaptive control is a field with many practical applications and a rich theory, but much of the development for nonlinear systems revolves around a few key algorithms. By exploiting strong connections between nonlinear adaptive control techniques and recent progress in optimization and machine learning, we show that there exists considerable untapped potential in algorithm development for nonlinear adaptive control. We present a large set of new globally convergent adaptive control algorithms that are applicable both to linearly parameterized systems and to nonlinearly parameterized systems satisfying certain monotonicity or convexity requirements. We adopt a variational formalism based on the Bregman Lagrangian to define a general framework that systematically generates higher-order in-time velocity gradient algorithms. We generalize our algorithms to the non-Euclidean setting and show that the Euler Lagrange equations for the Bregman Lagrangian lead to natural gradient and mirror descent-like adaptation laws with momentum that incorporate local geometry through a Hessian metric specified by a convex function. We prove that these non-Euclidean adaptation laws implicitly regularize the system model by minimizing the convex function that specifies the metric throughout adaptation. Local geometry imposed during adaptation thus may be used to select parameter vectors - out of the many that will lead to perfect tracking - for desired properties such as sparsity. We illustrate our analysis with simulations using a higher-order algorithm for nonlinearly parameterized systems to learn regularized hidden layer weights in a three-layer feedforward neural network.

연구 동기 및 목표

• 비선형 적응 제어 분야에서 알고리즘 다양성이 제한되어 있는 문제를 해결하기 위해, 특히 비선형적으로 파arameter화된 시스템에 대해.
• 최근의 변분 방법과 Bregman 산란도의 발전을 활용하여 적응 제어, 최적화, 기계 학습 간 격차를 메우기 위해.
• 시간에 대해 고차수인 속도 기울기 알고리즘을 개발하여 국소 기하학을 헤시안 메트릭을 통해 통합하고, 전역 수렴성을 확보하기 위해.
• 볼록 함수를 선택하여 파라미터 공간 기하학을 형상화함으로써 적응 과정 중 암묵적 정규화를 가능하게 하기 위해.
• 이러한 알고리즘의 유효성을 깊이 있는 신경망에서 정규화된 가중치 학습에 적용하여 입증하기 위해.

제안 방법

• Bregman 라그랑지안을 사용하여 적응 제어를 변분 문제로 공식화함으로써, 오일러-라그랑주 방정식을 통해 시간에 대해 고차수인 알고리즘을 유도한다.
• 볼록 함수를 사용하여 헤시안 기반 메트릭을 정의함으로써 비유클리드 공간으로 프레임워크를 일반화하여 자연 기울기 또는 미러 강하 유사 역학을 가능하게 한다.
• Bregman 라그랑지안의 오일러-라그랑주 방정식을 풀어 모멘텀을 포함한 적응 법칙을 도출함으로써 국소 기하학을 학습 과정에 통합한다.
• 메트릭을 정의하는 데 사용된 볼록 잠재함수의 최소화를 통해 암묵적 정규화를 도입함으로써, 희소성과 같은 원하는 구조적 특성을 가진 파라미터 벡터를 선호한다.
• 3층 피드포워드 신경망에 프레임워크를 적용하여, 희소성 촉진 정규화를 통한 은닉층 가중치 학습을 수행한다.
• 비선형 파arameter화에 대해 단조성 또는 볼록성 조건이 성립할 경우 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비선형적으로 파arameter화된 적응 제어에 대해 변분 형식을 사용하여 시간에 대해 고차수인 속도 기울기 알고리즘을 체계적으로 도출할 수 있는가?
• RQ2 볼록 잠재함수를 통해 정의된 비유클리드 기하학은 어떻게 적응 역학을 형상화하고 암묵적 정규화를 유도하는가?
• RQ3 볼록 함수에서 유도된 헤시안 메트릭은 어떤 역할을 하여 희소성과 같은 원하는 성질을 지닌 파라미터 수렴을 이끄는가?
• RQ4 비선형적으로 파arameter화된 시스템에서 단조성 또는 볼록성 제약 조건 하에 제안된 프레임워크가 전역 수렴을 달성할 수 있는가?
• RQ5 적응 법칙에 모멘텀을 포함시키는 것은 신경망 학습에서 수렴성과 정규화에 어떤 영향을 미치는가?

주요 결과

• Bregman 라그랑지안 프레임워크는 선형 및 비선형적으로 파arameter화된 시스템 모두에 대해 고차수, 전역 수렴성 있는 적응 제어 알고리즘을 체계적으로 생성한다.
• Bregman 라그랑지안의 오일러-라그랑주 방정식은 비유클리드 공간에서 자연 기울기 또는 미러 강하 방법과 동치인 모멘텀을 포함한 적응 법칙을 도출한다.
• 메트릭을 정의하는 데 사용된 볼록 함수의 최소화를 통해 적응 과정에서 자연스럽게 암묵적 정규화가 발생하며, 희소성와 같은 원하는 구조적 특성을 가진 파라미터 벡터를 선호한다.
• 이 프레임워크는 완벽한 추적을 달성하는 파라미터 벡터들 중에서 볼록 잠재함수에 의해 부과된 기하학적 제약 조건을 바탕으로 최적의 파라미터 벡터를 선택할 수 있도록 한다.
• 시뮬레이션을 통해 제안된 고차수 알고리즘을 사용하여 3층 피드포워드 신경망에서 정규화된 은닉층 가중치 학습이 성공적으로 수행됨을 입증하였다.
• 비선형 파arameter화에 대해 단조성 또는 볼록성의 온건한 가정 하에 전역 수렴이 보장된다.