[論文レビュー] Adjoint-based exact Hessian-vector multiplication using symplectic Runge-Kutta methods.

Shin‐ichi Ito, Takeru Matsuda+1 more|arXiv (Cornell University)|Oct 15, 2019

Numerical methods for differential equations被引用数 1

ひとこと要約

本稿では、2階随伴系に適用した保存的分割ルンゲ＝クッタ法を用いて、初期値問題におけるヘシアン・ベクトル乗算を正確に計算するアルゴリズムを提示する。2階随伴系を簡潔に導出し、保存的手法の幾何的性質を活用することで、数値近似誤差が生じない正確なヘシアン・ベクトル乗算が達成される。

ABSTRACT

We consider a function of the numerical solution of an initial value problem, its Hessian matrix with respect to the initial data, and the computation of a Hessian-vector multiplication. A simple way of approximating the Hessian-vector multiplication is to integrate the so-called second-order adjoint system numerically. However, the error in the approximation could be significant unless the numerical integration is sufficiently accurate. This paper presents a novel algorithm that computes the intended Hessian-vector multiplication exactly. For this aim, we give a new concise derivation of the second-order adjoint system and show that the intended multiplication can be computed exactly by applying a particular numerical method to the second-order adjoint system. In the discussion, symplectic partitioned Runge--Kutta methods play an important role.

研究の動機と目的

• 初期値問題におけるヘシアン・ベクトル乗算を正確に計算する手法の開発を目的とする。
• 標準的なヘシアン・ベクトル乗算の数値積分によって生じる顕著な近似誤差を是正することを目的とする。
• 計算の明確さを向上させるために、2階随伴系を簡潔かつ体系的な方法で導出することを目的とする。
• 保存的分割ルンゲ＝クッタ法を2階随伴系に適用することで、ヘシアン・ベクトル乗算の正確な計算が可能であることを確立することを目的とする。

提案手法

• ヘシアン・ベクトル乗算問題の明確な定式化を可能にするために、2階随伴系の新規で簡潔な導出が行われる。
• ヘシアン・ベクトル乗算は、特定の保存的分割ルンゲ＝クッタ法を用いて2階随伴系を数値的に解くことで計算される。
• 数値的手法の保存的構造が、ヘシアン・ベクトル乗算の正確性に必要な幾何的性質を保持する。
• 選択したルンゲ＝クッタスキームの保存的性質を活用することで、標準的な数値積分に見られる誤差蓄積を回避する。
• アルゴリズムは、連続問題の構造と整合性を保つことで、ヘシアン・ベクトル乗算が正確に計算されることを保証する。
• 保存的分割ルンゲ＝クッタ法が2階随伴系の元となるハミルトニアン構造を保存するという事実に依拠している。

実験結果

リサーチクエスチョン

• RQ1 初期値問題におけるヘシアン・ベクトル乗算を、数値積分を用いて正確に計算することは可能か？
• RQ2 保存的分割ルンゲ＝クッタ法は、正確なヘシアン・ベクトル乗算を実現するために果たす役割は何か？
• RQ3 2階随伴系を簡潔かつ計算に有用な形で導出するにはどうすればよいか？
• RQ4 2階随伴系の数値積分が正確なヘシアン・ベクトル乗算をもたらすために満たすべき条件は何か？
• RQ5 計算コストを著しく増加させることなく、ヘシアン・ベクトル乗算の近似誤差を排除することは可能か？

主な発見

• 提案手法は、2階随伴系に保存的分割ルンゲ＝クッタ法を適用することにより、ヘシアン・ベクトル乗算を正確に計算する。
• 2階随伴系の簡潔な導出により、正確な計算の実装が明確かつ効率的に行えるようになる。
• 保存的分割ルンゲ＝クッタ法は、正確性を達成するために必要な幾何的構造を保持するために不可欠である。
• 標準的なヘシアン・ベクトル乗算の数値近似に内在する誤差蓄積を、本手法は回避する。
• ヘシアン・ベクトル乗算の正確性は、保存的手法の構造保存性に起因する。
• 本手法は、感度解析における近似ヘシアン・ベクトル乗算の信頼性の高い代替手段を提供する。