[논문 리뷰] A neural network based policy iteration algorithm with global $H^2$-superlinear convergence for stochastic games on domains

Kazufumi Ito, Christoph Reisinger외 1명|arXiv (Cornell University)|2019. 06. 05.

Model Reduction and Neural Networks참고 문헌 45인용 수 14

한 줄 요약

이 논문은 복잡한 도메인에서 고차원 스토케스틱 HJBI 방정식을 해결하기 위한 신경망 기반 정책 반복 알고리즘을 제안하며, 이 방식을 비정확한 뉴턴 방법으로 간주함으로써 전역 H²-초선형 수렴을 달성한다. 이 방법은 신경망 근사와 정책 반복을 조합하여 준선형 PDE를 해결하며, 값 함수와 피드백 제어의 수렴을 최적 속도로 보장한다.

ABSTRACT

In this work, we propose a class of numerical schemes for solving semilinear Hamilton-Jacobi-Bellman-Isaacs (HJBI) boundary value problems which arise naturally from exit time problems of diffusion processes with controlled drift. We exploit policy iteration to reduce the semilinear problem into a sequence of linear Dirichlet problems, which are subsequently approximated by a multilayer feedforward neural network ansatz. We establish that the numerical solutions converge globally in the $H^2$-norm, and further demonstrate that this convergence is superlinear, by interpreting the algorithm as an inexact Newton iteration for the HJBI equation. Moreover, we construct the optimal feedback controls from the numerical value functions and deduce convergence. The numerical schemes and convergence results are then extended to HJBI boundary value problems corresponding to controlled diffusion processes with oblique boundary reflection. Numerical experiments on the stochastic Zermelo navigation problem are presented to illustrate the theoretical results and to demonstrate the effectiveness of the method.

연구 동기 및 목표

• 스토케스틱 제어 문제에서 나타나는 준선형 해밀토니안-자코비-벨리만-아이사이트스(HJBI) 방정식을 해결하기 위한 메쉬-프리 수치적 방법을 개발한다.
• 기존의 유한차분법 또는 유한요소법에서 나타나는 차원의 저주와 기하학적 복잡성 문제를 해결한다.
• 신경망 기반 정책 반복 알고리즘에 대해 전역 H²수렴과 초선형 수렴 속도를 확립한다.
• 경사도 도메인 조건으로의 확장을 가능하게 하고, 수치적 해에서 최적 피드백 제어를 구성한다.
• 알고리즘을 비정확한 반스무스 뉴턴 방법으로 간주함으로써 수렴 속도에 대한 이론적 근거를 제공한다.

제안 방법

• 정책 반복을 사용하여 준선형 HJBI 문제를 선형 딜리클레 문제 또는 경사도 도메인 문제의 순서로 변환한다.
• 각 선형 하위문제는 다층 피드포워드 신경망을 시험 함수 공간으로 사용하여 메쉬-프리 근사가 가능하도록 한다.
• 알고리즘은 HJBI 연산자에 대한 비정확한 뉴턴 반복으로 간주되며, 일반화된 미분과 준뉴턴 갱신이 적용된다.
• 비정확한 해를 고려하기 위해 변형된 선형 시스템을 구성하며, 오차 한계는 점점 0으로 수렴하는 수열 ηk+1에 의해 제어된다.
• 정규성 이론을 활용하여 타원형 경사도 도메인 문제의 해에 대해 H²(Ω) 노름에서 수렴성을 분석한다.
• 신경망 근사에 의한 값 함수의 기울기에서 최적 피드백 제어를 유도한다.

실험 결과

연구 질문

• RQ1 복잡한 기하학을 가진 도메인에서 신경망 기반 정책 반복 기법이 HJBI 방정식에 대해 전역 H²수렴을 달성할 수 있는가?
• RQ2 제안된 알고리즘이 H²노름에서 초선형 수렴을 보이며, 만약 그렇다면 어떤 조건에서 그러한 수렴이 유지되는가?
• RQ3 문제의 정규성 조건이 충족될 경우, 경사도 도메인 조건을 처리하면서도 수렴 속도가 유지되는가?
• RQ4 선형 하위문제의 비정확한 해가 정책 반복 루프의 전역 수렴성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 값 함수의 신경망 근사에서 유도된 피드백 제어가 신뢰성 있게 최적 제어에 수렴하는가?

주요 결과

• 수치적 해는 H²(Ω) 노름에서 진짜 HJBI 방정식의 해로 전역적으로 수렴한다.
• 수렴 속도는 q-초선형이며, 반복이 진행됨에 따라 오차가 어떤 선형 수렴 속도보다도 더 빠르게 감소한다.
• 정책 반복을 비정확한 반스무스 뉴턴 방법으로 간주함으로써 알고리즘은 H²-초선형 수렴을 달성한다.
• 문제가 적절한 정규성 조건을 만족할 경우, 경사도 도메인 조건 하에서도 수렴성이 유지된다.
• 신경망 값 함수 근사의 기울기에서 유도된 피드백 제어는 최적 제어로 수렴한다.
• 선형 해의 오차는 점점 0으로 수렴하는 수열 ηk+1에 의해 제어되며, 이는 비정확한 뉴턴 단계가 극한에서 효과적으로 유지됨을 보장한다.