[論文レビュー] Algorithmic Differentiation of Linear Algebra Functions with Application in Optimum Experimental Design (Extended Version)

Sebastian F. Walter, Lutz Lehmann|arXiv (Cornell University)|Jan 11, 2010

Control Systems and Identification参考文献 6被引用数 3

ひとこと要約

本稿では、前方および逆方向の両モードで、一変数テイラー多項式伝播（UTPM）を用いた長方形QR分解および対称固有値分解の高次導関数を計算する新しいアルゴリズム的微分（AD）アルゴリズムを提示する。この手法は線形代数関数を基本演算として扱い、ほぼ機械精度に近い精度を達成するとともに、最適実験設計問題における効率的な勾配計算を可能にする。

ABSTRACT

We derive algorithms for higher order derivative computation of the rectangular $QR$ and eigenvalue decomposition of symmetric matrices with distinct eigenvalues in the forward and reverse mode of algorithmic differentiation (AD) using univariate Taylor propagation of matrices (UTPM). Linear algebra functions are regarded as elementary functions and not as algorithms. The presented algorithms are implemented in the BSD licensed AD tool exttt{ALGOPY}. Numerical tests show that the UTPM algorithms derived in this paper produce results close to machine precision accuracy. The theory developed in this paper is applied to compute the gradient of an objective function motivated from optimum experimental design: $ abla_x Φ(C(J(F(x,y))))$, where $Φ= \{λ_1 : λ_1 C\}$, $C = (J^T J)^{-1}$, $J = \frac{\dd F}{\dd y}$ and $F = F(x,y)$.

研究の動機と目的

• QR分解や固有値分解のような主要な線形代数関数に対して、効率的で高精度なアルゴリズム的微分手法を開発すること。
• 線形代数ルーチンをADにおける基本関数として扱い、その内部アルゴリズムの微分を回避すること。
• 行列関数を含む最適実験設計問題における正確な勾配計算を可能にすること。
• 導出されたアルゴリズムをオープンソースのADツールALGOPYに実装し、ベンチマークを実施すること。
• UTPMに基づくADが、線形代数ルーチンの従来のADによる微分と比較して、性能およびメモリ効率の面で優れていることを示すこと。

提案手法

• 行列値関数を1つの双変数 t に関する多項式展開として表すために、一変数テイラー多項式伝播（UTPM）を用いる。
• 固有値が相異なる長方形QR分解および対称固有値分解に対して、前方および逆方向のADアルゴリズムを導出する。
• 持ち上げられた関数表現を用いて、行列分解を通じて導出情報を伝播するためのプルバックおよびプッシュフォワード操作を適用する。
• 行列分解を原子的演算として扱い、その背後にある反復的アルゴリズムの微分を回避する。
• 二重リンクドリストを用いた順序付きテープの代わりに、計算グラフを用いたALGOPY（BSDライセンス）に実装する。
• 行列テイラー展開を用いて高次導関数を効率的に計算し、メモリ使用量を削減するとともに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的微分を用いて、長方形QR分解の高次導関数をどのように効率的に計算できるか。
• RQ2 固有値が相異なる対称固有値分解において、逆方向ADにおける随伴（プルバック）の構造はどのようなものか。
• RQ3 UTPMに基づくADは、線形代数ルーチンの内部アルゴリズムを直接微分する方法と比較して、精度および性能面でどのように異なるか。
• RQ4 ADにおける線形代数関数を基本関数として扱うことで、科学技術計算アプリケーションにおける数値的安定性および効率性が向上するか。
• RQ5 UTPMに基づくADは、最適実験設計問題における勾配計算に実際どのような影響を与えるか。

主な発見

• UTPMに基づくADアルゴリズムは、記号的微分との比較で約4.4×10⁻¹⁵の相対誤差を示し、機械精度に非常に近い数値的精度を達成している。
• QR分解におけるプッシュフォワード実行時間比（UTPM AD / 通常の関数評価）は約11.79、固有値分解では約11.88であり、やや高いオーバーヘッドであることが示された。
• ALGOPYにおけるUTPM実装は、UTPSによるPYADOLCの微分と比較して、特に大きな行列に対して優れた性能を示しており、メモリアクセスおよび計算構造の点で優位性がある。
• 逆方向ADにおけるメモリ要件を、中間値の保存を回避することでO(D)にまで削減し、解析的導出式を活用している。
• 本手法により、最適実験設計における目的関数Φ = (JᵀJ)⁻¹の最大固有値の安定的かつ正確な勾配計算が可能になった。
• ALGOPYにおける実装はGitHubで公開されており、検証済みでポータブルなADアルゴリズムのテストベッドとして機能している。