[論文レビュー] Automatic Differentiation for Complex Valued SVD

Zhou‐Quan Wan, Shi‐Xin Zhang|arXiv (Cornell University)|Sep 4, 2019

Computational Physics and Python Applications参考文献 1被引用数 4

ひとこと要約

本稿は、複素数値特異値分解（SVD）の逆モード自動微分（AD）の公式を導出しており、複素数テンソルネットワークにおけるADインfra構造における重要な空白を埋めている。主な貢献は、複素解析的構造に起因する、実SVDには存在しない新しい項 $\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ を得たことである。この項により、量子物理学および複素数テンソルを含む機械学習応用における正確なバックプロパゲーションが可能になる。

ABSTRACT

In this note, we report the back propagation formula for complex valued singular value decompositions (SVD). This formula is an important ingredient for a complete automatic differentiation(AD) infrastructure in terms of complex numbers, and it is also the key to understand and utilize AD in tensor networks.

研究の動機と目的

• 複素数値特異値分解（SVD）における逆モード自動微分（AD）のサポート不足という、複素数テンソルネットワークのADインfra構造における重要な空白を解消すること。
• 特に量子物理学や機械学習において複素数テンソルが一般的な文脈において、複素行列を含む最適化パイプラインにおける勾配計算を可能にすること。
• ゲージ不変性および非ハーモニック依存性の取り扱いを含め、複素数SVDのバックプロパゲーション公式の数学的に厳密な導出を提供すること。
• 複素行列関数の正しい勾配表現を特定することで、導出された公式が数値的に安定かつ既存のADフレームワークと互換性を持つことを保証すること。
• 異なる微分可能なテンソルネットワークモデルへのSVDの統合を促進するために、複素数値演算における完全かつ正しい勾配公式を提供すること。

提案手法

• 実数値損失関数を想定し、ワイターリング微分を用いて定義される勾配を基に、複素数微積分を用いて複素数SVDの逆モードAD勾配を導出する。
• ユニタリティ制約に起因する、$U$、$S$、$V$ の微分を歪エルミート行列として表現するため、SVD分解 $A = USV^\top$ にチェーンルールを適用する。
• 非対角項を捉えるために、$F_{ij} = \frac{1}{s_j^2 - s_i^2}$（$i \neq j$）を用いて、補助行列 $\boldsymbol{J} = F \bigcirc (U^\top \bar{U})$、$\boldsymbol{K} = F \bigcirc (V^\top \bar{V})$、$\boldsymbol{L} = I \bigcirc (V^\top \bar{V})$ を導入する。
• 実数変数の関数としての複素変数の非ハーモニック性に起因する、新しい項 $\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ を同定する。
• ゲージ不変性とトレース恒等式を用いて一貫性条件を導出し、SVD分解における位相の曖昧さに依存しない勾配が得られることを保証する。
• 実数値損失関数に対して $\bar{\boldsymbol{A}} = 2 (\bar{\boldsymbol{A}}^*)$ として微分式を勾配形式に変換し、最終的な公式を式 (1) に得る。

実験結果

リサーチクエスチョン

• RQ1 実数値損失関数を想定した場合、複素数値SVDの正しい逆モード自動微分公式は何か？
• RQ2 実数値関数が複素変数に依存する非ハーモニック性のため、複素数SVDの勾配は実数SVDのそれとどのように異なるか？
• RQ3 ゲージ不変性は複素数SVDの勾配導出において果たす役割は何か？また、勾配表現の形をどのように制約するか？
• RQ4 なぜ $\frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ の項が必要であり、実SVDには存在しないのか？その背後にある物理的または数学的原理は何か？
• RQ5 新しい勾配項が活性化され、実際の計算で正しく評価されるようにするための妥当な損失関数をどのように構築できるか？

主な発見

• 本稿は、複素数値SVDの完全な逆モード自動微分公式を導出し、その主な革新点として、複素解析的構造に起因する新しい勾配項 $\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ の同定を達成した。
• この新しい項は実SVDには存在せず、損失関数が $U$ と $V$ の両方に依存するゲージ非自明な形である場合に、正しい勾配計算に不可欠である。
• 導出過程から、勾配が位相ゲージ変換に対して不変であることが示され、一貫性は補助行列 $\bar{U}^T U + \bar{V}^T V - \text{c.c.}$ におけるゲージ不変性条件によって強制される。
• 正方行列の場合に加えて、長方形行列への一般化には2つの追加項が必要であり、これらはSVD部分空間の非直交補空間を補償する。
• 損失関数が $U$ または $V$ のいずれかにのみ依存する場合、項 $\bar{\boldsymbol{A}}_d$ は消えるため、新しい項が活性化されるには両方の行列に同時に依存する必要があることが強調される。
• 導出された公式により、複素数テンソルネットワークにおける正確かつ効率的なバックプロパゲーションが可能となり、量子多体物理学および複素数モデルを用いた微分可能な機械学習応用を支援する。