[论文解读] Adjoint-based exact Hessian-vector multiplication using symplectic Runge-Kutta methods.

Shin‐ichi Ito, Takeru Matsuda+1 more|arXiv (Cornell University)|Oct 15, 2019

Numerical methods for differential equations被引用 1

一句话总结

本文提出了一种精确算法，通过将辛分割Runge-Kutta方法应用于二阶伴随系统，计算初值问题中的Hessian-向量乘积。通过简洁推导二阶伴随系统并利用辛方法的几何性质，该方法在无需数值近似误差的情况下实现了Hessian-向量乘积的精确计算。

ABSTRACT

We consider a function of the numerical solution of an initial value problem, its Hessian matrix with respect to the initial data, and the computation of a Hessian-vector multiplication. A simple way of approximating the Hessian-vector multiplication is to integrate the so-called second-order adjoint system numerically. However, the error in the approximation could be significant unless the numerical integration is sufficiently accurate. This paper presents a novel algorithm that computes the intended Hessian-vector multiplication exactly. For this aim, we give a new concise derivation of the second-order adjoint system and show that the intended multiplication can be computed exactly by applying a particular numerical method to the second-order adjoint system. In the discussion, symplectic partitioned Runge--Kutta methods play an important role.

研究动机与目标

• 开发一种在初值问题中精确计算Hessian-向量乘积的方法。
• 解决标准Hessian-向量计算中由数值积分引入的显著近似误差问题。
• 以简洁系统的方式推导二阶伴随系统，以提升计算清晰度。
• 建立辛分割Runge-Kutta方法在应用于二阶伴随系统时可实现Hessian-向量乘积精确计算的理论基础。

提出的方法

• 提供了一种新的简洁推导二阶伴随系统的方法，使Hessian-向量计算问题的表述更加清晰。
• 通过使用特定的辛分割Runge-Kutta方法数值求解二阶伴随系统，计算Hessian-向量乘积。
• 数值方法的辛结构保持了Hessian-向量乘积精确性所必需的几何性质。
• 通过利用所选Runge-Kutta格式的辛性质，避免了标准数值积分中常见的误差累积。
• 该算法通过保持与连续问题结构的一致性，确保Hessian-向量乘积的精确计算。
• 该方法依赖于这样一个事实：辛分割Runge-Kutta方法能够保持二阶伴随系统底层的哈密顿结构。

实验结果

研究问题

• RQ1 是否可以使用数值积分在初值问题中精确计算Hessian-向量乘积？
• RQ2 辛分割Runge-Kutta方法在实现Hessian-向量乘积精确计算中起到何种作用？
• RQ3 如何以简洁且计算实用的形式推导二阶伴随系统？
• RQ4 在什么条件下，对二阶伴随系统的数值积分可产生精确的Hessian-向量乘积？
• RQ5 是否可能在不显著增加计算成本的前提下，消除Hessian-向量计算中的近似误差？

主要发现

• 所提出的方法通过将辛分割Runge-Kutta方法应用于二阶伴随系统，精确计算了Hessian-向量乘积。
• 对二阶伴随系统的简洁推导使精确计算的实现更加清晰且高效。
• 辛分割Runge-Kutta方法对于保持实现精确性所必需的几何结构至关重要。
• 该方法避免了标准数值近似中固有的Hessian-向量乘积误差累积。
• Hessian-向量乘积的精确性由辛方法的结构保持特性所保证。
• 该方法为敏感性分析中近似Hessian-向量计算提供了一种可靠且精确的替代方案。