[論文レビュー] Chain Rules for Hessian and Higher Derivatives Made Easy by Tensor Calculus

Maciej Skórski|arXiv (Cornell University)|Nov 29, 2019

Tensor decomposition and applications参考文献 5被引用数 4

ひとこと要約

この論文は、多変数微積分におけるヘッセ行列や高階導関数の連鎖律を、直感的なインデックスペアリングとテンソルのドット積を用いることで、行列代数の煩雑さを回避する、簡略化されたテンソル計算に基づく手法を提示する。導関数を多次元配列（テンソル）として扱い、座標に依存しないテンソル演算を適用することで、特に再パrametrization下でのヘッセ行列を含む複雑な高階導関数を、効率的かつコン act に導出・計算できることを示している。Python を用いた SymPy を用いた数値例でも検証済み。

ABSTRACT

Computing multivariate derivatives of matrix-like expressions in the compact, coordinate free fashion is very important for both theory and applied computations (e.g. optimization and machine learning). The critical components of such computations are \emph{chain and product rules} for derivatives. Although they are taught early in simple scenarios, practical applications involve high-dimensional arrays; in this context it is very hard to find easy accessible and compact explanation. This paper discusses how to relatively simply carry such derivations based on the (simplified as adapted in applied computer science) concept of tensors. Numerical examples in modern Python libraries are provided. This discussion simplifies and illustrates an earlier exposition by Manton (2012).

研究の動機と目的

• 多変数関数のヘッセ行列や高階導関数の連鎖律を、明確でコンパクトかつ計算的に効率的な方法で導出するためのもの。
• 高次元配列におけるテンソルの形状不一致により失敗する、従来の行列ベースのアプローチの限界を克服するためのもの。
• 理論的多変数微積分と、最適化や機械学習などの応用分野における実装のギャップを埋めるためのもの。
• 要素ごとの微分の必要を回避する、インデックスペアリングとテンソルドット積を用いた統一的かつアクセス可能なフレームワークを提供するためのもの。
• 現代の Python ライブラリ（例：SymPy）を用いた数値例を通じて、導出規則の実装における落とし穴（例えば、導関数の表記順序の違い）を強調しながら、手法の妥当性を検証するためのもの。

提案手法

• 論文は、導関数を多次元配列（テンソル）としてモデル化し、関数の導関数を入力・出力インデックスに対応する次元を持つテンソルとして表現する。
• 明示的なインデックスペアリングを伴うテンソルドット積を導入する：例えば、ヤコビアンの成分と目的関数の偏微分の間で、対応するインデックスを和分により縮約する。
• 複数の次元にわたるインデックスの柔軟なペアリングを許容することで、高次元テンソルへの一般化を図り、形状の整合性を保つ。
• 混合偏微分の対称性（シュワルツの定理）を活用し、テンソル縮約における演算順序を簡略化する。
• ヘッセ行列の連鎖律は、最初の導関数 $ D(f \bullet g) = Df(g) \cdot Dg $ に積の法則を適用し、再び微分することで導出される：$ D^2(f \circ g) = (D^2f(g) \cdot Dg \cdot Dg) + (Df(g) \cdot D^2g) $。
• SymPy の tensorcontraction および tensorproduct 関数を用いて数値的検証を実施し、導関数の次元順序（例：SymPy では導関数インデックスを最初に配置するが、標準的慣習とは異なる）に注意深く対処した。

実験結果

リサーチクエスチョン

• RQ1 高次元配列において、ヘッセ行列や高階導関数の連鎖律を、コンパクトで座標に依存せず、計算的に効率的な形で表現する方法は何か？
• RQ2 標準的な行列乗算が形状不一致により失敗する状況において、正しいかつスケーラブルな2階導関数の計算を可能にするテンソル演算は何か？
• RQ3 インデックスペアリングとテンソル縮約は、多変数微積分における複雑な導関数式の導出をどのように簡略化できるか？
• RQ4 数値実装における導関数表記の違い（例：SymPy と標準的慣習）が、連鎖律の実装に与える実用的影響は何か？
• RQ5 テンソル計算は、最適化や機械学習分野における、従来の行列ベースの導出に比べ、より直感的かつ誤差の少ない代替手段を提供できるか？

主な発見

• 合成関数 $ f(g(y)) $ のヘッセ行列は、$ \mathbf{H}(f \circ g) = \mathbf{J}g^T \cdot \mathbf{H}f(g) \cdot \mathbf{J}g + \sum_{k=1}^{n} \frac{\partial f}{\partial y^k} \cdot \mathbf{H}g^k $ として計算可能であり、ここで $ \mathbf{J}g $ はヤコビアン、$ \mathbf{H}g^k $ は $ g $ の第 $ k $ 成分のヘッセ行列である。
• テンソルドット積の定式化により、$ g $ の出力次元と $ f $ の入力次元に対応するインデックスペアリングが可能となり、形状不整合の問題を回避する。
• SymPy を用いた数値評価により、導出された連鎖律の正しさが確認され、与えられた再パラメータライゼーション下で、対角成分が 2 と 200 のヘッセ行列が得られた。
• 要素ごとの微分を避けることで、高次元問題における計算コストを回避し、テンソル縮約によるバッチ計算を可能にする。
• ライブラリ固有の慣習（例：SymPy では導関数次元を最初に配置する）を正しく反映しなければ、正しいテンソル縮約が得られないため、注意が必要であることが指摘された。
• アインシュタインの和の規約とインデックスペアリングの使用により、複雑な導関数規則を、コンパクトで解釈可能な形で自然に表現するフレームワークが得られる。