[논문 리뷰] A monotonic method for solving nonlinear optimal control problems

Julien Salomon, Gabriel Turinici|arXiv (Cornell University)|2009. 06. 18.

Advanced Optimization Algorithms Research참고 문헌 48인용 수 3

한 줄 요약

이 논문은 상태에 대해 오목한 종속성을 가지는 비선형 최적 제어 문제를 해결하기 위한 통합된 단조성 알고리즘을 제시하며, 비선형 진화 방정식의 해가 존재함을 증명함으로써 비용 기능의 단조 감소를 보장한다. 이 방법은 양자 및 포아르비크 제어 분야의 이전 접근법을 일반화하여, 비볼리너 및 이차 설정을 초월해 일반적인 비선형 제어에 대해 오목한 상태 종속성을 갖는 경우에도 적용 가능하게 하며, 수렴 속도 면에서 비볼리너 설정에서 기울기 방법보다 뛰어난 구성적이고 잘 정의된 절차를 제공한다.

ABSTRACT

Initially introduced in the framework of quantum control, the so-called "monotonic algorithms" have demonstrated excellent numerical performance when dealing with bilinear optimal control problems. This paper presents a unified formulation that can be applied to more nonlinear settings compatible with the hypothesis detailed below. In this framework, we show that the well-posedness of the general algorithm is related to a nonlinear evolution equation. We prove the existence of the solution to this equation and give important properties of the optimal control functional. Finally we show how the algorithm works for selected models from the literature and compare it with the gradient algorithm.

연구 동기 및 목표

• 양자 제어와 포아르비크 제어에서 사용되는 서로 다른 단조성 알고리즘을 하나의 이론적 프레임워크로 통합하기 위해.
• 비용 기능이 상태에 대해 오목한 조건 하에서 비선형 진화 방정식의 해가 존재함을 증명함으로써 단조성 알고리즘의 잘 정의됨을 확립하기 위해.
• 이중선형 및 이차 설정을 초월해 일반적인 비선형 제어에 대해 오목한 상태 종속성을 갖는 경우까지 단조성 방법의 적용 범위를 확장하기 위해.
• 각 반복 단계에서의 제어 갱신을 계산하는 구성적 절차를 제공하여 비용 기능의 단조 감소를 보장하기 위해.
• 대표적인 모델에 대해 기울기 기반 알고리즘과의 수치 비교를 통해 이 방법의 효율성을 입증하기 위해.

제안 방법

• 알고리즘은 $v^k$의 제어 시퀀스를 구성하여 $J(v^{k+1}) \leq J(v^k)$를 만족함으로써 설계상 비용 감소를 보장한다.
• 알고리즘의 잘 정의됨은 최적성 조건에서 유도된 비선형 진화 방정식의 해에 연결된다.
• 비용 기능이 상태에 대해 오목한 조건 하에서 이 진화 방정식의 해가 존재함을 엄밀히 증명한다.
• 프레셰 도함수와 수반 상태 $Y$를 포함하는 변분 형식을 사용하여 제어 증분 $v'$에 대한 비선형 방정식을 도출한다.
• 제어 $v^{k+1}$를 $v^k$에서 비선형 방정식 $\Delta(v', v; t, X, Y) = -\theta(v' - v)$의 해를 통해 계산하는 구성적 절차를 제공한다.
• 수치적 근사치는 구성적 증명에 기반하며, $A(t,v)$가 비선형인 경우에도 오목성 조건이 만족된다면 임의의 비선형 모델에 구현 가능하다.

실험 결과

연구 질문

• RQ1 다양한 비선형 최적 제어 문제에 걸쳐 단조성 알고리즘을 통합할 수 있는 이론적 프레임워크를 수립할 수 있는가?
• RQ2 비용 기능 $J$가 상태에 대해 오목하고 $A(t,v)$가 $v$에 대해 비선형인 경우, 단조성 알고리즘이 잘 정의됨을 유지할 수 있는 조건는 무엇인가?
• RQ3 일반적인 비선형 설정에서 $J(v^{k+1}) \leq J(v^k)$를 보장하는 제어 갱신 $v^{k+1}$의 존재성을 구성적으로 증명할 수 있는가?
• RQ4 비볼리너 제어 문제에서 기울기 기반 방법과 비교해 단조성 알고리즘이 수렴 속도와 안정성 면에서 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크 하에서 최적 제어 기능의 구조적 특성은 무엇인가?

주요 결과

• 비용 기능이 상태에 대해 오목한 조건 하에서, 단조성 알고리즘이 광범위한 비선형 최적 제어 문제 클래스에 대해 잘 정의됨을 증명하였다.
• 제시된 가정 하에서 제어 갱신을 지배하는 비선형 진화 방정식의 해가 존재함을 입증하여 구성적 수치 절차를 가능하게 하였다.
• 선형 탐색이나 추가 계산 비용 없이도 각 반복 단계에서 비용 기능이 단조 감소함을 보장한다.
• 수치 결과는 단조성 알고리즘이 기울기 방법보다 점 渐진적으로 더 빠른 수렴 속도를 보임을 보여주며, 특히 비볼리너 설정에서 뚜렷한 우월성을 보였다.
• 비선형 보즈-아인슈타인 응축체 제어 사례에서, 초기 진전이 느리더라도 단조성 방법이 기울기 방법보다 더 빠른 수렴을 달성하였다.
• 벡터형 제어와 고차 비선형성(예: 제어에 대한 세차 종속성)을 성공적으로 처리하였으며, 분자 정렬 제어 사례에서 이를 입증하였다.