[논문 리뷰] Neural Stochastic Control

Jingdong Zhang, Qunxi Zhu외 1명|arXiv (Cornell University)|2022. 09. 15.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 확률적 미분 방정식(SDEs)에 의해 지배되는 동적 시스템을 안정화하기 위해 확률적 라플라스 이론을 활용하는 두 가지 신경망 기반 확률적 제어 프레임워크—지수 안정화기(ES)와 점점 안정화기(AS)—를 제안한다. ES는 지수 수렴을 보장하지만 더 긴 학습 시간이 필요하며, 반면 AS는 점점 안정성을 확보하면서도 더 빠른 학습을 가능하게 하여, 반도체 진동자, 결합된 스타트-랜드하우 시스템, 세포 운명 동역학과 같은 물리적 시스템에서 수렴 속도와 계산 효율성 면에서 상호 보완적인 이점을 제공한다.

ABSTRACT

Control problems are always challenging since they arise from the real-world systems where stochasticity and randomness are of ubiquitous presence. This naturally and urgently calls for developing efficient neural control policies for stabilizing not only the deterministic equations but the stochastic systems as well. Here, in order to meet this paramount call, we propose two types of controllers, viz., the exponential stabilizer (ES) based on the stochastic Lyapunov theory and the asymptotic stabilizer (AS) based on the stochastic asymptotic stability theory. The ES can render the controlled systems exponentially convergent but it requires a long computational time; conversely, the AS makes the training much faster but it can only assure the asymptotic (not the exponential) attractiveness of the control targets. These two stochastic controllers thus are complementary in applications. We also investigate rigorously the linear controller and the proposed neural stochastic controllers in both convergence time and energy cost and numerically compare them in these two indexes. More significantly, we use several representative physical systems to illustrate the usefulness of the proposed controllers in stabilization of dynamical systems.

연구 동기 및 목표

• 시스템 모델이 부분적으로 알려져 있지 않은 경우에도 내재된 무작위성과 불확실성을 갖는 확률적 동적 시스템을 안정화하는 데 도전하는 것.
• 기존의 선형화 기반 방법으로는 도달할 수 없는 비선형 및 확률적 시스템을 안정화할 수 있는 신경망 기반 제어 정책을 개발하는 것.
• 수렴 시간과 에너지 소비 비용 측면에서 신경망 기반 확률적 제어기와 전통적 선형 제어기 간의 이론적 및 실증적 비교를 제공하는 것.
• 신경미분방정식(Neural ODEs)을 사용하여 데이터 기반 설정으로 확장하여, 세포 운명 동역학과 같은 시스템에서 모델 자유 제어를 가능하게 하는 것.
• 실제 세계에서의 관련성이 있는 대표적인 물리적 시스템에서 제안된 제어기의 실용적 효능을 입증하는 것.

제안 방법

• 확률적 라플라스 이론에 기반한 지수 안정화기(ES)와 확률적 점점 안정성 이론에 기반한 점점 안정화기(AS)를 포함하는 두 가지 신경망 기반 확률적 제어 프레임워크를 제안한다. 이는 지수 수렴과 더 빠른 학습을 각각 보장한다.
• 완전 연결 피드포워드 신경망(FNNs)을 사용하여 SDE의 드리프트 및 확산 항을 수정하는 제어 함수 $\bm{u}_f$와 $\bm{u}_g$를 학습한다: $\mathrm{d}\bm{x} = [f(\bm{x}) + \bm{u}_f(\bm{x})]\mathrm{d}t + [g(\bm{x}) + \bm{u}_g(\bm{x})]\mathrm{d}B_t$.
• 입력-볼록 신경망(ICNNs)과 이차형태 신경망을 사용하여 신경 라플라스 함수가 정정의 양의 정의성과 볼록성을 확보함으로써 안정성 인증을 가능하게 한다.
• 시간 시리즈 데이터로부터 기저의 벡터장 $\hat{f}$를 학습하기 위해 신경미분방정식(NODEs)을 활용한 데이터 복원 기법을 통합함으로써, 동역학이 알려지지 않은 시스템에서 모델 자유 제어를 가능하게 한다.
• 이론적 분석을 통해 선형 제어기와 신경망 기반 확률적 제어기의 수렴 시간과 에너지 소비 비용을 추정함으로써 정량적 비교를 가능하게 한다.
• 베이크본 시스템인 반도체 진동자, 결합된 스타트-랜드하우 방정식, 세포 운명 동역학을 대상으로 시뮬레이션과 궤적 추적을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 신경망 기반 확률적 제어는 확률적 동적 시스템에서 전통적 선형 제어보다 수렴 시간과 에너지 소비 비용 면에서 뛰어나게 작용할 수 있는가?
• RQ2 SDEs의 수렴 속도, 학습 시간, 안정성 보장 측면에서 ES와 AS 프레임워크는 어떻게 비교되는가?
• RQ3 제안된 신경망 기반 확률적 제어는 시간 시리즈 데이터와 신경미분방정식을 사용하여 모델 자유 설정으로 확장될 수 있는가?
• RQ4 확률적 시스템에서 제어 정책, 라플라스 함수, 수렴 속도 간의 이론적 관계는 무엇인가?
• RQ5 이 프레임워크는 결합된 진동자에서의 동기화 및 세포 운명 결정과 같은 복잡한 물리적 시스템을 안정화하는 데 얼마나 효과적인가?

주요 결과

• 테스트된 시스템 전반에서 전통적 선형 제어보다 수렴 시간과 에너지 소비 비용 면에서 더 뛰어난 성능을 보이는 신경망 기반 확률적 제어 프레임워크(ES 및 AS)를 확보하였다.
• ES는 지수 안정성을 보장하지만 상당히 긴 학습 시간이 필요하며, 반면 AS는 점점 안정성만 확보하면서도 더 빠른 학습을 가능하게 한다.
• 결합된 스타트-랜드하우 시스템에서 AS는 동기화 다각형을 성공적으로 안정화하여, 복잡한 네트워크 기반 동역학에서의 효과성을 입증하였다.
• 세포 운명 동역학 시스템에서 제안된 방법은 고도수 노드에 대한 핀칭 제어를 통해 안정된 운명(P2, P3)에서 불안정한 임계 상태(P1)로 궤적을 성공적으로 이탈시켰다.
• 신경미분방정식을 활용한 데이터 기반 확장은 벡터장을 성공적으로 복원하고, 시간 시리즈 데이터만으로도 효과적인 제어를 가능하게 하여, 모델 자유 적용 가능성의 타당성을 입증하였다.
• 이론적 분석을 통해 신경망 기반 확률적 제어기는 비선형 및 확률적 영역에서 선형 제어기보다 뛰어난 수렴성과 에너지 효율성을 달성할 수 있음을 확인하였다.