[論文レビュー] A Geometric Theory of Higher-Order Automatic Differentiation

Michael Betancourt|arXiv (Cornell University)|Dec 30, 2018

Numerical methods for differential equations参考文献 10被引用数 14

ひとこと要約

この論文は、ジャンル空間を用いた微分幾何的枠組みを提案し、高次自動微分のためのものであり、有効な高次微分作用素の体系的な同定と、計算グラフを通じた明示的かつ効率的な伝搬ルールの実現を可能にする。主な貢献は、高次偏微分から伝搬更新を分離する統一理論であり、ソフトウェア実装におけるパフォーマンス最適化の機会を明らかにするとともに、混合モードアルゴリズムにおけるメモリ使用量と計算の重複のトレードオフを強調している。

ABSTRACT

First-order automatic differentiation is a ubiquitous tool across statistics, machine learning, and computer science. Higher-order implementations of automatic differentiation, however, have yet to realize the same utility. In this paper I derive a comprehensive, differential geometric treatment of automatic differentiation that naturally identifies the higher-order differential operators amenable to automatic differentiation as well as explicit procedures that provide a scaffolding for high-performance implementations.

研究の動機と目的

• 計算統計および機械学習分野における、原理的かつ高性能な高次自動微分フレームワークの不足に対処すること。
• 一次勾配を超える自動微分に適した高次微分作用素を特定・形式化すること。
• 既存の高次ADツールで生じる再帰的一次微分法による混乱と非効率を解消すること。
• 微分計算と伝搬の分離により、高次導関数の明示的かつ最適化された実装を可能にする幾何的基盤を提供すること。
• 混合モード高次ADを実装する際の、メモリ使用量と計算の重複の間の重要なパフォーマンストレードオフを明らかにすること。

提案手法

• ジャンル空間を用いて高次自動微分を形式化し、接ベクトルの一般化として高次導関数を符号化する。
• 計算グラフを通じた高次導関数の前向きおよび後向き伝搬をモデル化するための速度空間および共速度空間を導入する。
• 合成関数に沿って速度を前方伝搬させ、共速度を後方引き戻す明示的な変換則を導出する。
• 各計算ノードで複数の微分成分を追跡することで、高次導関数（例えばヘッセ行列、三次テンソル）を計算する局所的混合モードアルゴリズムを開発する。
• 値、速度、高次共速度（例：a, b, g, e）を格納するスタックベースのデータ構造を提案し、逆方向スイープの効率を高める。
• 再帰的一次微分ADを避けることで重複計算を回避し、より良いキャッシュ戦略を可能にするため、明示的かつ非再帰的アルゴリズムが再帰的一次ADを上回ることを示している。

実験結果

リサーチクエスチョン

• RQ1 どの高次微分作用素が自然に自動微分に適しており、どのように体系的に同定できるか？
• RQ2 ジャンル空間の幾何的構造をどのように活用して、高次導関数の正しいかつ効率的な伝搬ルールを導出できるか？
• RQ3 再帰的一次ADと明示的高次ADアルゴリズムの間で、メモリ使用量と計算量の観点からどのようなパフォーマンストレードオフがあるか？
• RQ4 高次偏微分の計算と伝搬論理の分離が、ソフトウェア実装にどのように改善をもたらすか？
• RQ5 複雑な関数における中間計算の共有が、高次ADにおけるキャッシュ化とパフォーマンスに与える影響は何か？

主な発見

• ジャンル空間形式は、ヘッセ行列や三次導関数などの有効な高次微分作用素を自然に同定する、厳密な幾何的基盤を提供する。
• 偏微分の計算とその伝搬を分離することで、非再帰的かつ明示的な高次ADアルゴリズムを導出でき、より効率的な実装が可能になる。
• 混合モード高次AD手法では、中間値の管理に注意を払う必要がある。微分成分間で共通する高価な計算をキャッシュすることで、重複を低減できる。
• 局所的混合モードアルゴリズムを用いた高次導関数の計算コストは、入力変数の数に対して線形に増加するため、中程度の次元において実用的である。
• 高次元の目的関数に対しては、純粋な逆方向スイープによるヘッセ行列計算が、マルチスイープ混合モード手法を上回る可能性がある。これは、メモリ局所性が良く、重複計算が少ないためである。
• 理論により、一次ADの再帰的適用が高次作用素の真の構造を隠蔽し、最適化を困難にすることが明らかになった。