[논문 리뷰] Deep learning method for solving stochastic optimal control problem via stochastic maximum principle.

Shaolin Ji, Shigē Péng외 2명|arXiv (Cornell University)|2020. 07. 05.

Model Reduction and Neural Networks참고 문헌 6인용 수 1

한 줄 요약

이 논문은 스트로스틱 최적 제어 문제를 해결하기 위한 딥러닝 프레임워크를 제안한다. 스트로스틱 최대원리(stochastic maximum principle)를 활용하여 종료 시점의 제곱형 손실을 갖는 문제로 재구성함으로써, 추가로 생기는 최대조건(maximum condition)에도 불구하고 효율적인 신경망 학습이 가능해진다. 이 방법은 선형-제곱(LQ) 제어 문제와 G기대값 문제에서 검증되었으며 유의미한 수치 결과를 도출하였다.

ABSTRACT

In this paper, we aim to solve the stochastic optimal control problem via deep learning. Through the stochastic maximum principle and its corresponding Hamiltonian system, we propose a framework in which the original control problem is reformulated as a new one. This new stochastic optimal control problem has a quadratic loss function at the terminal time which provides an easier way to build a neural network structure. But the cost is that we must deal with an additional maximum condition. Some numerical examples such as the linear quadratic (LQ) stochastic optimal control problem and the calculation of G-expectation have been studied.

연구 동기 및 목표

• 딥러닝을 활용해 복잡한 스트로스틱 최적 제어 문제를 해결하는 데 도전한다.
• 원래의 제어 문제를 신경망 구현에 더 용이한 형태로 재구성하기 위해 제곱형 손실 함수를 갖는 새로운 형태로 문제를 재정의한다.
• 스트로스틱 최대원리에 의해 유도된 추가적인 최대조건을 재구성된 문제에 통합하고 이를 다루는 방법을 제시한다.
• 선형-제곱(LQ) 제어 및 G기대값 계산과 같은 벤치마크 문제들에 대해 프레임워크의 유효성을 입증한다.

제안 방법

• 스트로스틱 최대원리를 활용해 해밀토니안 시스템을 유도함으로써 스트로스틱 최적 제어 문제를 재구성한다.
• 원래 문제를 종료 시점에서 제곱형 손실 함수를 갖는 새로운 스트로스틱 최적 제어 문제로 변환한다.
• 스트로스틱 최대원리에서 유도된 최대조건을 신경망 학습 과정의 제약 조건으로 통합한다.
• 제곱형 종료 손실을 최소화함으로써 최적 제어 및 상태 궤적을 학습하는 신경망 아키텍처를 설계한다.
• 스트로스틱 최대원리로부터 유도된 최대조건을 준수하면서 수치 최적화를 통해 네트워크를 학습시킨다.
• 특정 문제들, 즉 선형-제곱(LQ) 스트로스틱 제어 및 G기대값 계산을 해결하기 위해 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 스트로스틱 최대원리와 딥러닝을 효과적으로 융합하여 스트로스틱 최적 제어 문제를 해결할 수 있는가?
• RQ2 종료 시점의 제곱형 손실로 문제를 재구성함으로써 신경망 학습이 스트로스틱 제어 문제에서 어떻게 향상되는가?
• RQ3 재구성된 문제에 최대조건을 도입함으로써 발생하는 도전 과제는 무엇이며, 이를 딥러닝 프레임워크에서 어떻게 해결할 수 있는가?
• RQ4 이 방법이 LQ 제어 및 G기대값 계산과 같은 벤치마크 문제를 얼마나 정확하게 해결할 수 있는가?
• RQ5 기존의 수치적 방법에 비해 이 방법은 성능과 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 제곱형 종료 손실을 갖는 재구성된 문제 설정은 스트로스틱 최적 제어를 위한 신경망 학습을 더 안정적이고 효율적으로 가능하게 한다.
• 스트로스틱 최대원리에서 유도된 최대조건을 포함하는 것이 학습된 제어 정책의 최적성 보장을 위해 필수적이다.
• 프레임워크는 선형-제곱(LQ) 스트로스틱 최적 제어 문제를 성공적으로 해결하였으며, 수렴성과 정확성을 입증하였다.
• 이 방법은 전통적인 방법으로는 해결하기 어려운 비선형 기대값인 G기대값 계산에도 효과적으로 적용되었다.
• 수치 실험 결과, 스트로스틱 최대원리를 기반으로 한 딥러닝 접근법이 벤치마크 문제에서 경쟁 가능한 성능을 달성함을 확인하였다.
• 이 방법은 복잡한 스트로스틱 최적 제어 문제를 해결하기 위한 기존의 수치적 방법에 대한 실현 가능한 대안을 제공한다.