[논문 리뷰] Numerical Methods for Mean-Field-Type Optimal Control Problems

Laurent Pfeiffer|arXiv (Cornell University)|2017. 03. 29.

Advanced Optimization Algorithms Research참고 문헌 10인용 수 9

한 줄 요약

이 논문은 평균장 유형 최적 제어 문제를 해결하기 위한 두 가지 반복 수치 방법을 제안한다. 이는 해밀턴-자비-벨리만(Hamilton-Jacobi-Bellman) 및 포커-플랑크(Fokker-Planck) 방정식에 기반한 전진-후진 스킴을 사용한다. 첫 번째 방법은 확률 측도의 볼록 조합을 활용하는 경사하강법으로 작용하며, 두 번째 방법은 피날리제이션 항을 포함하여 피드백 제어를 생성한다. 시험 예제에서 두 방법 모두 선형 수렴을 보이며, 비미분 가능 케이스에서 두 번째 방법이 더 뛰어난 강건성을 보인다.

ABSTRACT

In this article, two methods for solving mean-field type optimal control problems are proposed and investigated. The two methods are iterative methods: at each iteration, a Hamilton-Jacobi-Bellman equation is solved, for a terminal condition obtained by linearizing the cost function. The terminal condition is updated by solving a Fokker-Planck equation. The first method can be seen as a gradient method and uses in an essential manner the convexity of the set of probability distributions. A convergence result for this method is provided. The second method incorporates a penalization term and provides feedback controls. We test the methods on four academic examples.

연구 동기 및 목표

• 최종 시점에서 상태의 확률 분포에 따라 비용이 결정되는 평균장 유형 최적 제어 문제에 대해 효율적인 수치적 스킴을 개발하는 것.
• 비용 기능이 기대값이 아닌 전체 분포에 의존하도록 모델링하여 위험 회피 최적화를 다루는 것.
• 피드백 제어를 계산하고 비연속 비용 함수를 다룰 수 있는 수렴성 보장 알고리즘을 제공하는 것.
• 워샤르슈타인 거리, 표준편차, 조건부 가치의 위험(CVaR) 등이 포함된 학술적 예제에 대해 방법을 시험하는 것.

제안 방법

• 첫 번째 방법은 도달 가능한 집합 내에서 확률 측도의 볼록 조합을 사용하며, 이 스킴을 비용 기능을 최소화하기 위한 경사하강법으로 해석한다.
• 각 반복 단계에서 후진 단계는 비용 기능의 도함수로부터 유도된 선형화된 종료 조건을 갖는 해밀턴-자비-벨리만(Hamilton-Jacobi-Bellman, HJB) 방정식을 푼다.
• 전진 단계는 후진 단계에서 확보한 제어 하에 상태 확률 분포를 전파하기 위해 포커-플랑크(Fokker-Planck) 방정식을 푼다.
• 두 번째 방법은 선형화된 HJB 방정식에 피날리제이션 항을 도입하여 수렴성을 안정화시키고 피드백 제어를 생성한다.
• 상태 변수를 이산화하기 위해 반-라그랑주 방법(semi-Lagrangian scheme)을 사용하여 확률적 미분 방정식과 관련된 편미분 방정식을 정확하게 근사한다.
• 알고리즘은 전진 및 후진 단계를 번갈아가며 제어와 분포를 반복적으로 갱신하여 수렴할 때까지 진행된다.

실험 결과

연구 질문

• RQ1 확률 측도의 볼록 조합을 사용하여 평균장 유형 최적 제어 문제에 대해 경사 기반 반복 방법을 구성할 수 있는가?
• RQ2 HJB 방정식에 피날리제이션 항을 포함시키는 것이 평균장 최적 제어에서 수렴성과 피드백 제어 품질에 어떤 영향을 미치는가?
• RQ3 비용 함수가 비연속적일 경우, 예를 들어 워샤르슈타인 거리 기반 문제에서 제안된 방법의 수렴 행동은 어떠한가?
• RQ4 조건부 가치의 위험 또는 표준편차와 같은 위험 회피 비용 기능에 적용했을 때 두 방법의 성능은 어떻게 비교되는가?
• RQ5 수치적 스킴이 최적성 조건의 구조, 특히 결합된 HJB-포커-플랑크 시스템을 어느 정도 유지하는가?

주요 결과

• 첫 번째 방법은 최적성 조건을 만족하는 한계점으로 수렴하며, 연속 시간 설정에 대해 이론적 수렴 결과를 제시한다.
• 피날리제이션 항을 포함한 두 번째 방법은 피드백 제어를 생성하며, 워샤르슈타인 거리 예제와 같이 비연속 비용 함수가 존재하는 경우 첫 번째 방법보다 우수한 성능을 보인다.
• 모든 네 가지 시험 케이스에서 두 방법 모두 선형 수렴을 보이며, 비용 함수가 연속 미분 가능하지 않은 첫 번째 케이스를 제외하고는 기준 εℓ가 0으로 수렴한다.
• 기대값과 표준편차를 포함한 시험 케이스에서는 최적 제어가 시간에 따라 일정하며, 가치 함수의 형태와 일치하는 번갈아가며 작동하는(bang-bang) 구조를 보인다.
• 조건부 가치의 위험(CVaR) 예제에서는 알고리즘이 유리한 상태에서는 위험을 줄이는 전략을 선호하고 영향력이 큰 상황에서는 더 적극적인 제어를 수행함을 보여준다.
• 모든 예제에서 두 알고리즘 간 비용의 차이는 미미하여, 두 번째 방법이 피드백 제어 생성의 추가 이점을 제공하면서도 동일한 성능을 달성함을 시사한다.