[논문 리뷰] Algorithm for Hamilton-Jacobi equations in density space via a generalized Hopf formula

Yat Tin Chow, Wuchen Li외 2명|arXiv (Cornell University)|2018. 05. 04.

Geometric Analysis and Curvature Flows참고 문헌 21인용 수 6

한 줄 요약

이 논문은 무한 차원성의 고통을 극복하기 위해 밀도 공간에서의 해밀턴-자비 방정식(HJD)을 해결하기 위해 일반화된 호프 공식을 도입한다. 이는 최적 제어 문제를 밀도 공간에서 공간적 최적화로 재구성함으로써 이루어지며, 다수의 블록 스토하스틱 경사 하강법을 통해 효율적인 계산을 가능하게 하여 평균 장 게임 및 최적 운반 문제에서 볼록 및 비볼록 해밀토니안 모두에 대해 정확한 해를 도출한다.

ABSTRACT

We design fast numerical methods for Hamilton-Jacobi equations in density space (HJD), which arises in optimal transport and mean field games. We overcome the curse-of-infinite-dimensionality nature of HJD by proposing a generalized Hopf formula in density space. The formula transfers optimal control problems in density space, which are constrained minimizations supported on both spatial and time variables, to optimization problems over only spatial variables. This transformation allows us to compute HJD efficiently via multi-level approaches and coordinate descent methods.

연구 동기 및 목표

• 최적 제어 문제에서 무한 차원성의 고통을 겪는 밀도 공간에서의 해밀턴-자비 방정식(HJD)을 해결하는 데 있어 계산적 과제를 해결하기 위해.
• 무한 차원 문제를 유한 차원 최적화로 변환함으로써 평균 장 게임과 최적 운반 문제에서 가치 함수를 효율적으로 계산하는 수치적 방법을 개발하기 위해.
• 기존 방법이 실패하거나 계산적으로 비현실적이게 되는 비볼록 해밀토니안에 대한 HJD의 해를 가능하게 하기 위해.
• 최적 운반 이론에서의 그래프 기반 이중 공식을 영감으로 삼아, 잠재력이 있는 평균 장 게임의 원래 이중 구조를 유지하기 위해 공간적으로 이산화된 이중 공식을 사용하기 위해.

제안 방법

• HJD를 종단 조정 상태(Φ)에 대한 Supremum으로 재구성함으로써 시간에 의존하지 않는 공간 변수만을 포함하는 최적화 문제로 문제를 축소하는 일반화된 호프 공식을 제안한다.
• 그래프 위의 최적 운반의 이중 공식을 사용하여 호프 공식을 이산화함으로써 이산 시간 반전 가능성을 보장하고 원래의 이중 구조를 유지한다.
• 이산화된 호프 함수를 최적화하기 위해 다수의 레벨 블록 스토하스틱 경사 하강법을 적용하여 고차원 설정에서도 효율적인 계산을 가능하게 한다.
• 비연속 해밀토니안의 수치적 계산을 안정화하기 위해 소프트 절대값 정규화를 사용하며, 특히 보존 법칙 공식화에서 유용하다.
• 해를 종단 조정 상태 Φ로 매개변수화함으로써 1차 최적화 기법을 직접 이중 문제에 적용할 수 있도록 한다.
• 이중 문제의 경우 공간 변수에만 의존한다는 사실을 활용하여 전체 시간-공간 격자 이산화의 지수적 비용을 피한다.

실험 결과

연구 질문

• RQ1 일반화된 호프 공식이 최적화 변수에서 시간 의존성을 제거함으로써 밀도 공간에서 HJD를 해결하는 데 있어 계산 복잡도를 효과적으로 감소시킬 수 있는가?
• RQ2 기존의 볼록 분석 도구가 실패하는 비볼록 해밀토니안에 대해 제안된 방법이 어떻게 성능을 발휘하는가?
• RQ3 공간적 최적화만을 고려하는 공식화가 원래의 평균 장 게임 시스템의 구조와 안정성을 어느 정도 유지하는가?
• RQ4 현재 잠재력이 있는 게임에 국한되어 있지만, 이 방법이 잠재력이 없는 게임과 노이즈가 있는 의사결정 과정으로 확장 가능한가?

주요 결과

• 일반화된 호프 공식은 무한 차원 HJD를 공간 변수만을 포함하는 유한 차원 최적화 문제로 성공적으로 변환하여 계산 복잡도를 크게 감소시켰다.
• 해결 방법은 볼록 및 비볼록 해밀토니안 모두에 대해 정확한 해를 도출하며, 수치 예제에서 경쟁적 이동에 의해 질량이 분리되는 경우에도 성능을 발휘한다.
• 소프트 절대값 정규화를 사용함으로써 비연속 해밀토니안의 수치적 해를 안정화시켰으며, c=20일 때 안정적이고 의미 있는 결과를 도출함을 입증하였다.
• 그래프 기반의 이중 공식을 통해 잠재력이 있는 평균 장 게임의 원래 이중 구조를 유지함으로써 시간 반전 가능성과 수치적 일致성을 확보하였다.
• 수치 결과는 정규화 오류(예: 작은 尾)가 존재하더라도 질량 분포가 구의 경계에 도달 가능한지를 정확히 식별함을 보여주었다.
• 1차 방법을 통해 가치 함수 U(t,ρ)의 효율적 계산이 가능해졌으며, 복잡한 역학에서의 확장성과 강건성을 입증하였다.