[논문 리뷰] Adjoint-based exact Hessian-vector multiplication using symplectic Runge-Kutta methods.

Shin‐ichi Ito, Takeru Matsuda외 1명|arXiv (Cornell University)|2019. 10. 15.

Numerical methods for differential equations인용 수 1

한 줄 요약

이 논문은 이차 연쇄 미분 방정식의 초기값 문제에 대해, 해밀턴형 분할 룬게쿠타 방법을 이차 연쇄 미분계의 두 번째 연쇄 미분계에 적용하여 헤시안-벡터 곱을 정확하게 계산하는 알고리즘을 제시한다. 이차 연쇄 미분계를 간결하게 유도하고, 해밀턴형 방법의 기하적 성질을 활용함으로써, 수치적 근사 오차 없이 정확한 헤시안-벡터 곱을 도출한다.

ABSTRACT

We consider a function of the numerical solution of an initial value problem, its Hessian matrix with respect to the initial data, and the computation of a Hessian-vector multiplication. A simple way of approximating the Hessian-vector multiplication is to integrate the so-called second-order adjoint system numerically. However, the error in the approximation could be significant unless the numerical integration is sufficiently accurate. This paper presents a novel algorithm that computes the intended Hessian-vector multiplication exactly. For this aim, we give a new concise derivation of the second-order adjoint system and show that the intended multiplication can be computed exactly by applying a particular numerical method to the second-order adjoint system. In the discussion, symplectic partitioned Runge--Kutta methods play an important role.

연구 동기 및 목표

• 초기값 문제에서 헤시안-벡터 곱을 정확하게 계산하는 방법을 개발하기 위해.
• 기본적인 헤시안-벡터 곱 계산에서 수치적 적분에 의해 유도되는 상당한 근사 오차를 해결하기 위해.
• 계산의 명확성을 향상시키기 위해, 이차 연쇄 미분계를 간결하고 체계적으로 유도하기 위해.
• 해밀턴형 분할 룬게쿠타 방법을 이차 연쇄 미분계에 적용할 경우, 헤시안-벡터 곱이 정확하게 계산될 수 있음을 입증하기 위해.

제안 방법

• 헤시안-벡터 곱 계산 문제의 명확한 정식화를 가능하게 하기 위해, 이차 연쇄 미분계에 대한 새로운 간결한 유도가 제공된다.
• 헤시안-벡터 곱은 특정 해밀턴형 분할 룬게쿠타 방법을 사용하여 이차 연쇄 미분계를 수치적으로 풀음으로써 계산된다.
• 수치적 방법의 해밀턴형 구조는 헤시안-벡터 곱의 정확성에 필요한 기하적 성질을 유지한다.
• 선택된 룬게쿠타 스킴의 해밀턴형 성질을 이용함으로써, 표준 수치적 적분에서 흔히 발생하는 오차 누적 현상을 피한다.
• 알고리즘은 연속 문제의 구조와 일관성을 유지함으로써, 헤시안-벡터 곱이 정확하게 계산됨을 보장한다.
• 이 방법은 해밀턴형 분할 룬게쿠타 방법이 이차 연쇄 미분계의 기본 해밀턴형 구조를 유지한다는 사실에 기반한다.

실험 결과

연구 질문

• RQ1 초기값 문제에서 헤시안-벡터 곱을 수치적 적분을 통해 정확하게 계산할 수 있는가?
• RQ2 해밀턴형 분할 룬게쿠타 방법은 정확한 헤시안-벡터 곱 계산에 어떤 역할을 하는가?
• RQ3 이차 연쇄 미분계는 어떻게 간결하고 계산적으로 유용한 형태로 유도될 수 있는가?
• RQ4 이차 연쇄 미분계의 수치적 적분이 정확한 헤시안-벡터 곱을 도출하기 위해 어떤 조건이 필요한가?
• RQ5 계산 비용을 과도하게 증가시키지 않고도 헤시안-벡터 곱 계산의 근사 오차를 제거할 수 있는가?

주요 결과

• 제안된 방법은 이차 연쇄 미분계에 해밀턴형 분할 룬게쿠타 방법을 적용함으로써 헤시안-벡터 곱을 정확하게 계산한다.
• 이차 연쇄 미분계의 간결한 유도로 인해, 정확한 계산의 명확성과 효율성이 향상된다.
• 해밀턴형 분할 룬게쿠타 방법은 정확성을 달성하기 위해 필요한 기하적 구조를 유지하는 데 필수적이다.
• 이 방법은 기존 수치적 근사에서 흔히 발생하는 오차 누적 현상을 피한다.
• 헤시안-벡터 곱의 정확성은 해밀턴형 방법의 구조 보존 성질에 의해 보장된다.
• 이 방법은 감도 분석에서 근사적 헤시안-벡터 곱 계산에 대한 신뢰할 수 있고 정확한 대안을 제공한다.