[논문 리뷰] Extended Applicability of the Symplectic Pontryagin Method

Mattias Sandberg|ArXiv.org|2009. 01. 29.

Matrix Theory and Algorithms참고 문헌 7인용 수 3

한 줄 요약

이 논문은 이전 연구보다 더 약한 조건 하에서 존재성과 수렴성을 증명함으로써 최적 제어 문제를 해결하기 위한 심플렉틱 폰트리아긴 방법을 확장한다. 이로 인해 이중 변수의 유계 기울기 조건이 필요 없어졌으며, 오차 한계가 $\delta + \Delta t$로 도출되어 정규화와 시간 이산화를 오차 악화 없이 독립적으로 조정할 수 있게 되었다.

ABSTRACT

The Symplectic Pontryagin method was introduced in a previous paper. This work shows that this method is applicable under less restrictive assumptions. Existence of solutions to the Symplectic Pontryagin scheme are shown to exist without the previous assumption on a bounded gradient of the discrete dual variable. The convergence proof uses the representation of solutions to a Hamilton-Jacobi-Bellman equation as the value function of an associated variation problem.

연구 동기 및 목표

• 이전 연구보다 더 엄격하지 않은 조건 하에서도 심플렉틱 폰트리아긴 스킴의 해 존재성을 확립하는 것.
• 이중 변수의 이산 기울기가 유계라는 사전 가정을 제거하는 것.
• 이전의 오차 추정치인 $\delta + \Delta t + \Delta t^2/\delta$에서 $\delta + \Delta t$로 개선하여 $\delta$와 $\Delta t$의 독립적 최적화를 가능하게 하는 것.
• 해의 표현을 변분 문제의 최소화자로 나타내고, 가치 함수의 반구형성에 기반한 수렴성 증명을 제공하는 것.

제안 방법

• 다양체성 보장과 수치적 해법을 가능하게 하기 위해 $|H^\delta - H| \leq \delta$를 만족하는 정규화된 해밀토니안 $H^\delta$를 사용하는 것.
• 정규화된 해밀토니안 시스템에 대해 시간 이산화 $\Delta t = T/N$을 적용한 심플렉틱 오일러 스킴을 적용하는 것.
• 해밀턴-자코비-벨리만 방정식의 해를 러닝 비용 $L(x,\alpha)$를 포함한 변분 문제의 최소화로 표현하는 것.
• 이중 변수 $\lambda$에 대한 최대화자들의 컴팩턴스를 보장하기 위해 제곱형 페널티 항을 가진 수정된 해밀토니안 $\tilde{H}$를 도입하는 것.
• 가치 함수 $u$의 국소 반구형성을 활용하여 이산적이고 연속적인 시간 도함수 간의 차이를 유계화하는 것.
• 초미분 추정과 리프시츠 연속성에 기반하여 이산 스킴의 값과 연속 변분 문제를 비교함으로써 오차 한계를 유도하는 것.

실험 결과

연구 질문

• RQ1 이중 변수의 기울기가 유계라는 가정 없이도 심플렉틱 폰트리아긴 방법의 해 존재성을 증명할 수 있는가?
• RQ2 유연한 정규성 조건 하에서 심플렉틱 폰트리아긴 방법의 최적 오차 한계는 무엇인가?
• RQ3 정규화 파라미터 $\delta$와 시간 스텝 $\Delta t$를 오차 악화 없이 독립적으로 조정할 수 있는가?
• RQ4 가치 함수를 변분 문제의 최소화자로 표현하는 것이 수렴 분석에 어떻게 기여하는가?
• RQ5 가치 함수의 반구형성이 이산적 해와 연속적 해 간 오차 유계화에 어떤 역할을 하는가?

주요 결과

• 이중 변수의 기울기가 유계라는 조건 없이도 더 넓은 해밀토니안 클래스에 대해 심플렉틱 폰트리아긴 스킴의 해 존재성이 보장된다.
• 오차 한계는 $\delta + \Delta t$로 확립되었으며, 이는 이전의 $\delta + \Delta t + \Delta t^2/\delta$보다 우월하다.
• 정규화 파라미터 $\delta$와 시간 스텝 $\Delta t$는 서로 독립적으로 선택할 수 있으며, $\Delta t$를 고정한 상태에서 $\delta$를 감소시켜도 오차가 악화되지 않는다.
• 가치 함수를 변분 문제의 최소화자로 표현함으로써 방법의 수렴성이 증명되었으며, 이산 스킴은 이 최소화를 근사한다.
• 페널티가 가미된 해밀토니안 $\tilde{H}$를 사용함으로써 이중 변수에 대한 최대화자들의 컴팩턴스를 확보하여 $\lambda^*$에 대한 균일한 유계를 확보할 수 있었다.
• 값의 차이 $\bar{u}(x_0,0) - u(x_0,0)$에 대한 하한이 $-\frac{1}{2}C_1C_2(C_3+1)e^{C_2T}T\Delta t$로 유도되었으며, 이는 $\Delta t$에 대해 선형 수렴임을 확인한다.