[논문 리뷰] Variational Optimization for Distributed and Boundary Control of Stochastic Fields

George I. Boutselis, Marcus A. Pereira외 2명|arXiv (Cornell University)|2019. 04. 03.

Stochastic processes and financial applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 힐버트 공간 위에서 측도론적 접근을 사용하여 확률적 편미분방정식의 분산 및 경계 제어를 위한 변분 최적화 프레임워크를 제안한다. 상대 엔트로피와 자유 에너지 간의 관계를 활용하여, 무한차원 확률적 시스템에 대한 매개변수화된 제어 정책의 최적화를 가능하게 하며, 이론과 구현 간의 실용적 다리를 제공한다.

ABSTRACT

Stochastic partial differential equations have been used to model diverse applications ranging from turbulence and plasma physics to partially observable stochastic controlled systems. This paper aims to bridge the gap between abstract theoretical results and implementable algorithms, by developing a variational optimization framework for controlling infinite-dimensional stochastic models. A measure-theoretic approach is employed for systems evolving on Hilbert spaces, which relies on connections between relative entropy and free energy. The derived scheme is applicable to a wide class of problems, and can be used for optimizing parameterized control policies. Our work creates new perspectives and directions for solving stochastic control problems constrained by partial differential equations.

연구 동기 및 목표

• 추상적인 확률적 제어 이론과 구현 가능한 알고리즘 간 격차를 메우기 위해.
• SPDE에 의해 지배되는 무한차원 확률적 시스템을 제어하기 위한 계산적으로 실현 가능한 방법을 개발하기 위해.
• 분산 및 경계 제어 설정에서 매개변수화된 제어 정책의 최적화를 가능하게 하기 위해.
• 측도 이론과 변분 원리에 기반한 엄밀한 수학적 기초를 제공하기 위해.

제안 방법

• 힐버트 공간 위에서 측도론적 프레임워크를 사용하여 확률적 진화를 모델링하기 위해.
• 상대 엔트로피와 자유 에너지 간의 관계를 활용하여 최적화 기준을 도출하기 위해.
• 제어 정책 매개변수와 시스템 성능을 에너지 유사 함수에 의해 연결하는 변분 원리를 설정하기 위해.
• 무한차원 공간에서의 함수해석학을 통해 최적성의 필요 조건을 유도하기 위해.
• 분산 및 경계 제어 문제에 적용 가능한 확장 가능한 최적화 기법을 설계하기 위해.
• 변분 공식에 제어 법칙을 통합함으로써 매개변수화된 정책 최적화를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 추상적인 확률적 제어 이론을 무한차원 시스템에 대해 실현 가능하게 만들 수 있는가?
• RQ2 SPDE 제어의 맥락에서 상대 엔트로피와 자유 에너지를 통합할 수 있는 변분 원리는 무엇인가?
• RQ3 확률적 편미분방정식 제약 조건 하에서 매개변수화된 제어 정책을 어떻게 최적화할 수 있는가?
• RQ4 분산 및 경계 제어 시나리오에서 수렴성과 안정성을 보장하는 수학적 프레임워크는 무엇인가?
• RQ5 측도론적 접근은 어떻게 확률적 제어 문제의 처리 가능성(tractability)을 향상시키는가?

주요 결과

• 프레임워크는 이론적 SPDE 제어 문제를 수치적 해법에 적합한 변분 최적화 문제로 성공적으로 변환한다.
• 상대 엔트로피와 자유 에너지 간의 관계는 무한차원 설정에서 제어 정책의 강건한 최적화를 가능하게 한다.
• 이 방법은 분산 제어와 경계 제어를 모두 지원하여 다양한 물리적 및 공학적 시스템에 광범위하게 적용 가능성을 넓힌다.
• 유도된 변분 공식을 사용하여 매개변수화된 제어 정책을 효율적으로 최적화할 수 있다.
• 이 접근은 PDE에 의해 지배되는 제약 조건이 있는 확률적 제어 문제를 해결하기 위한 새로운 이론적 및 계산적 길을 제공한다.
• 프레임워크는 난류 및 부분 관측 가능한 과정을 포함한 광범위한 확률적 시스템 클래스에 적용 가능할 정도로 일반적이다.