[논문 리뷰] Implicit energy regularization of neural ordinary-differential-equation control

Lucas Böttcher, Nino Antulov-Fantulin외 1명|arXiv (Cornell University)|2021. 03. 11.

Model Reduction and Neural Networks참고 문헌 1인용 수 4

한 줄 요약

이 논문은 명시적인 에너지 정규화 없이도 동적 시스템에 대한 최적 제어 신호를 학습할 수 있는 미분 가능 프레임워크인 Neural ODE Control (NODEC)을 제안한다. 신경 ODE와 경사 하강법을 활용함으로써 NODEC는 제어 에너지를 암묵적으로 정규화하며, 선형 및 비선형 시스템(예: Kuramoto 진동자 동기화 포함)에서 분석적 최적 제어 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

Although optimal control problems of dynamical systems can be formulated within the framework of variational calculus, their solution for complex systems is often analytically and computationally intractable. In this Letter we present a versatile neural ordinary-differential-equation control (NODEC) framework with implicit energy regularization and use it to obtain neural-network-generated control signals that can steer dynamical systems towards a desired target state within a predefined amount of time. We demonstrate the ability of NODEC to learn control signals that closely resemble those found by corresponding optimal control frameworks in terms of control energy and deviation from the desired target state. Our results suggest that NODEC is capable to solve a wide range of control and optimization problems, including those that are analytically intractable.

연구 동기 및 목표

• 명시적인 에너지 정규화 없이도 복잡한 동적 시스템을 목표 상태로 이끄는 데 사용할 수 있는 신경 ODE 기반 제어 프레임워크를 개발하기 위해.
• 신경망 학습에서의 암묵적 정규화가 최적 제어 해법에 가까운 에너지 소비를 갖는 제어 신호를 유도할 수 있는지 조사하기 위해.
• 선형 및 비선형 네트워크 기반 동적 시스템(예: 결합된 진동자의 동기화 포함)에 대한 프레임워크의 효과성을 입증하기 위해.
• 제어 에너지 및 수렴 속도 측면에서 NODEC의 성능을 분석적 최적 제어 및 양면 기울기 방법(Adjoint-Gradient Method, AGM)과 비교하기 위해.
• 신경 ODE가 초기화와 경사 하강법의 상호작용을 통해 암묵적으로 에너지 정규화된 제어 정책을 학습할 수 있음을 입증하기 위해.

제안 방법

• 제어 입력을 신경망으로 매개변수화한 신경 ODE에 의해 지배되는 최적 제어 문제로 제어를 공식화한다.
• 최종 상태의 편차를 최소화하는 손실 함수를 사용하며, 명시적인 제어 에너지 페널티를 포함하지 않는다.
• 제어기의 학습을 위해 네트워크 가중치에 대한 경사 하강법을 적용하며, ODE 솔버를 통해 역전파를 수행한다.
• 양면 민감도 방법을 적용하여 ODE 통합을 통해 기울기를 계산함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 완전한 네트워크, Erdős–Rényi, Watts–Strogatz, 격자 구조 등 다양한 네트워크 구조에서 선형 시스템과 비선형 Kuramoto 진동자에 대해 방법을 적용한다.
• 조직도 수치 및 제어 에너지 등의 지표를 사용하여 학습된 제어 신호와 에너지를 분석적 최적 제어 및 양면 기울기 방법(AGM)과 비교한다.

실험 결과

연구 질문

• RQ1 신경 ODE 기반 제어 프레임워크는 명시적인 에너지 정규화 없이도 최적 제어와 유사한 에너지 소비를 갖는 제어 신호를 학습할 수 있는가?
• RQ2 신경망 초기화와 경사 하강법의 상호작용으로 인해 NODEC에서 암묵적 정규화가 어떻게 발생하는가?
• RQ3 선형 동적 시스템에서 NODEC는 분석적 최적 제어 성능을 어느 정도까지 재현할 수 있는가?
• RQ4 Kuramoto 진동자와 같은 비선형 네트워크 기반 시스템에서 NODEC는 근사 최적의 제어 에너지와 동기화 성능을 달성할 수 있는가?
• RQ5 다양한 네트워크 구조에서 NODEC의 수렴 속도 및 에너지 효율성 측면에서 AGM(양면 기울기 방법)과의 성능 비교는 어떻게 이루어지는가?

주요 결과

• NODEC는 분석적 최적 제어 해법과 유사한 제어 에너지를 사용하여 선형 동적 시스템을 목표 상태로 성공적으로 이끌었다.
• Kuramoto 진동자 네트워크에서는 AGM보다 더 빠른 동기화 속도를 달성했으며, 모든 테스트된 네트워크 유형에서 유사한 제어 에너지를 유지했다.
• 완전한 네트워크, Erdős–Rényi, Watts–Strogatz, 정사각형 격자 등 모든 네트워크 구조에서 최종 조직도 수치가 1에 가까워져, AGM와 유사한 높은 수준의 동기화를 나타내었다.
• 모든 네트워크 유형에서 NODEC의 제어 에너지는 AGM와 유사한 수준이었으며, 이는 암묵적 정규화가 에너지 효율적인 제어 신호를 유도함을 보여주었다.
• 프레임워크는 대규모 시스템으로도 잘 일반화되었으며, 보조 자료에서 10,000개 노드를 가진 정사각형 격자에서도 성공적인 제어가 이루어졌음을 입증했다.
• 손실 함수에 명시적인 에너지 정규화가 없더라도, 학습 동역학에 의해 자연스럽게 암묵적 정규화가 발생함으로써 성능에 영향을 주지 않았다.