[論文レビュー] On the Higher-Order Derivatives of Spectral Functions: Two Special Cases

Hristo S. Sendov|ArXiv.org|Apr 19, 2004

Matrix Theory and Algorithms参考文献 11被引用数 3

ひとこと要約

本稿は、対称行列の固有値の関数であるスペクトル関数の高階微分を計算する統一的でテンソルベースの枠組みを提示する。一般化されたハダマード積を用いて、2つの主要な状況におけるk階微分の明示的公式を導出する：(1) 基礎関数がk回微分可能で、行列の固有値が相異なる場合、(2) 関数が可分的かつ対称的で、任意の対称行列に対して有効な場合。主な貢献は、一般のスペクトル関数のヘッセ行列を、洗練された微分法に類似した方法で導出したことである。これは、先行研究の結果を著しく簡略化している。

ABSTRACT

In this work we use the tensorial language developed in [8] and [9] to differentiate functions of eigenvalues of symmetric matrices. We describe the formulae for the k-th derivative of such functions in two cases. The first case concerns the derivatives of the composition of an arbitrary differentiable function with the eigenvalues at a matrix with distinct eigenvalues. The second development describes the derivatives of the composition of a separable symmetric function with the eigenvalues at an arbitrary symmetric matrix. In the concluding section we re-derive the formula for the Hessian of a general spectral function at an arbitrary point. Our approach leads to a shorter, streamlined derivation than the original in [6]. The language we use, based on the generalized Hadamard product, allows us to view the differentiation of spectral functions as a routine calculus-type procedure.

研究の動機と目的

• 対称行列のスペクトル関数の高階微分を体系的かつ微分法に類似した方法で計算するための手法を開発すること。
• スペクトル関数の勾配とヘッセ行列に関する先行研究を、任意の次数kに一般化すること。
• 固有値の依存性と直交的共役を別々のモジュールとして扱える、テンソル解析と一般化されたハダマード積に基づく統一的枠組みを提供すること。
• 従来の手法よりも短く、より明確な方法で一般スペクトル関数のヘッセ行列を再導出すること。
• k階微分の公式が簡略化される条件を特定すること、特に可分的かつ対称的関数の場合に注目する。

提案手法

• 一般化されたハダマード積に基づくテンソリアル言語を用いて、スペクトル関数の高階微分を表現する。
• k階微分を $ \nabla^k(f \circ \lambda)(X) = V \left( \sum_{\sigma \in P^k} \mathrm{Diag}^\sigma \mathcal{A}_\sigma(\lambda(X)) \right) V^T $ として表現し、ここで $ V $ は $ X $ を対角化する。
• 部分微分の関数に依存するが固有値に依存しない、演算子 $ \mathrm{Diag}^\sigma $ と $ \mathcal{A}_\sigma $ を定義する。
• 2つの特殊な状況にこの枠組みを適用する：(1) $ f $ がk回微分可能で固有値が相異なる場合、(2) $ f $ が可分的かつ対称的で、任意の対称行列に対して有効な場合。
• ブロック定数テンソルと微分極限を用いてヘッセ行列を導出し、$ \nabla f $ 及びその導関数の性質を活用する。
• 摂動下での $ \mathcal{A}_\sigma $ 及びその極限の解析を通じて、$ f \circ \lambda $ の連続性と微分可能性を確立する。

実験結果

リサーチクエスチョン

• RQ1 高階微分を統一的でテンソルベースの形式的枠組みを用いて、どのように体系的に計算できるか？
• RQ2 関数 $ f $ がk回微分可能で、行列の固有値が相異なる場合、$ f \circ \lambda $ のk階微分の構造はどのようなものか？
• RQ3 関数 $ f $ が可分的かつ対称的関数である場合、k階微分の公式はどのように簡略化されるか？
• RQ4 この枠組みを用いて、一般スペクトル関数のヘッセ行列を、従来の手法よりも短く、より明確に再導出できるか？
• RQ5 関数 $ f $ が $ C^k $ であるという条件は、$ f \circ \lambda $ の微分可能性と連続性を保証するのにどのような条件を満たすか？

主な発見

• 固有値が相異なる対称行列 $ X $ における $ f \circ \lambda $ のk階微分は、$ V \left( \sum_{\sigma \in P^k} \mathrm{Diag}^\sigma \mathcal{A}_\sigma(\lambda(X)) \right) V^T $ で与えられ、ここで $ \mathcal{A}_\sigma $ は $ f $ の高々k階までの偏微分にのみ依存する。
• 可分的かつ対称的関数の場合、すべての置換 $ \sigma $ に対して $ \mathcal{A}_\sigma $ が同一となるため、k階微分の公式が著しく簡略化される。
• 一般スペクトル関数のヘッセ行列は、一般化されたハダマード積の形式的枠組みを用いて、[6] よりも短く、直感的な方法で再導出された。
• この枠組みにより、$ f \circ \lambda $ が $ C^k $ であることは $ f $ が $ C^k $ であることと同値であり、テンソルベースの微分処理において微分可能性が保たれることを示した。
• 固有値の依存性と直交的共役を分離可能なコンponentとして扱うことで、微分の計算を体系的かつ微分法に類似した手続きとして行えるようになった。
• ブロック定数テンソルと微分極限の使用により、従来の複雑な代数的変形を避けて、ヘッセ行列の導出を洗練され、明確にした。