[論文レビュー] Use and implementation of autodifferentiation in tensor network methods with complex scalars

Claudius Hubig|arXiv (Cornell University)|Jul 31, 2019

Computational Physics and Python Applications参考文献 7被引用数 5

ひとこと要約

本論文は、複素スカラーを用いたテンソルネットワークツールキットにおけるリバースモード自動微分（AD）の実用的実装を提示しており、ネイティブC++テンソルライブラリにADを追加するには1,000行未満のコードで十分であることを示している。複素スカラー下での主要なテンソル演算（QRおよびSVD）の微分の数学的基盤を確立し、特に複素SVDの随伴（adjoint）を導出することで、量子多体系シミュレーションにおけるエンドツーエンドのバックプロパゲーションを可能にした。

ABSTRACT

Following the recent preprints arXiv:1903.09650 and arXiv:1906.04654 we comment on the feasibility of implementation of autodifferentiation in standard tensor network toolkits by briefly walking through the steps to do so. The total implementation effort comes down to fewer than 1000 lines of additional code. We furthermore summarise the current status when the method is applied to cases where the underlying scalars are complex, not real and the final result is a real-valued scalar. It is straightforward to generalise most operations (addition, tensor products and also the QR decomposition) to this case and after the initial submission of these notes, also the adjoint of the complex SVD has been found.

研究の動機と目的

• PyTorch や TensorFlow などの外部フレームワークに依存せずに、ネイティブテンソルネットワークツールキットにおけるリバースモード自動微分を可能にすること。
• 加法、テンソル積、QR分解、SVD といった標準的なテンソル演算を、複素スカラー算術に拡張しつつ微分可能であることを保証すること。
• 量子多体系における勾配ベース最適化のための重要な欠落要因であった、複素特異値分解（SVD）の随伴を導出し、検証すること。
• 特にUおよびV行列の位相変換に対して不変であることを保証する、SVDの随伴計算におけるゲージ不変性を確保すること。
• 対称性および異步的テンソルキャッシュを伴う強縮物質シミュレーションと互換性を持つ、検証可能で効率的かつモジュラーなADフレームワークを提供すること。

提案手法

• 計算グラフを追跡できるように、STensorクラスに自動微分IDとComputeNodeオブジェクトへの共有ポインタを追加した。
• 各コンピュートノードが入力/出力の依存関係、随伴評価関数、バックプロパゲーション用のキャッシュ済みテンソルデータを保持する有向無閉路グラフ（DAG）を構築した。
• 各演算に対して事前に定義された随伴評価関数を用い、DAGを後退走査することでリバースモードADを実装した。
• 出力の随伴と入力の摂動を用いてQとRの微分を表現することで、複素共役およびヘルミート構造を組み込んだ、複素QR分解の随伴を導出した。
• 実数SVDの随伴導出を複素数に拡張し、位相の曖昧さの問題を解消するため、ゲージ条件（例：V行列の最初の列を実数かつ正の値に）を導入し、ゲージ不変なコスト関数を保証した。
• 摂動を加えた入力と有限差分法を用いた比較により、実数のコスト関数（例：ノルム、トレース、または特定要素）を複素テンソルから導出した勾配の検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 外部ADライブラリを一切使用せず、C++テンソルネットワークツールキットに効率的かつネイティブにリバースモード自動微分を実装できるか？
• RQ2 複素共役およびヘルミート構造を考慮した場合、複素QR分解の随伴はどのように導出し、実装できるか？
• RQ3 複素特異値分解（SVD）を微分する際の数学的および計算上の課題は何か？ また、ゲージ自由度を活用して微分可能性を保証するにはどうすればよいか？
• RQ4 最終出力が実数スカラーであるにもかかわらず、中間のスカラーが複素数である場合、得られるADフレームワークをどのように堅牢にテストできるか？
• RQ5 UおよびV行列の位相変換に対してコスト関数のゲージ不変性を保つように、複素SVDの随伴を計算可能か？

主な発見

• ネイティブテンソルネットワークツールキットにおけるリバースモードADの実装には、追加で1,000行未満のC++コードで十分であり、コアフレームワーク（コンピュートノードグラフおよび随伴伝播）は約350行で実装された。
• 複素QR分解の随伴は正常に導出され、QおよびRの微分が出力の随伴と入力の摂動を用いて表現され、適切に複素共役を処理した。
• 複素SVDの微分は位相の曖昧さのため非自明であったが、ゲージ条件（例：V行列の最初の列を実数かつ正の値に）を導入することで、最適化ワークフローにおける微分可能なSVDを実現した。
• 導出された複素SVDの随伴は、コスト関数がゲージ不変である限り、UおよびVのユニタリ変換に対して勾配が不変であることを保証しており、物理的整合性にとって不可欠である。
• ノルム、トレース、または特定のテンソル要素など、複素テンソルから導出される実数のコスト関数に対して、効率的な勾配計算が可能であり、エネルギー最小化やバリエーショナルアルゴリズムへの応用が可能である。
• 有限差分法との比較によるテストにより、AD実装の正しさが確認され、複素テンソル入力の小さな摂動において数値精度まで一致した。