[論文レビュー] Theory of overparametrization in quantum neural networks

Martín Larocca, Nathan Ju+3 more|arXiv (Cornell University)|Sep 23, 2021

Quantum Computing Algorithms and Architecture被引用数 28

ひとこと要約

本論文は、パラメータ数がdynamical Lie algebraに関連する臨界閾値を超えるとQNNsが過パラメータ化(overparametrized)になることを理論的枠組みで示し、より平坦で訓練しやすい損失関数の景観と、飽和した量子フィッシャー情報容量をもたらす。

ABSTRACT

The prospect of achieving quantum advantage with Quantum Neural Networks (QNNs) is exciting. Understanding how QNN properties (e.g., the number of parameters $M$) affect the loss landscape is crucial to the design of scalable QNN architectures. Here, we rigorously analyze the overparametrization phenomenon in QNNs with periodic structure. We define overparametrization as the regime where the QNN has more than a critical number of parameters $M_c$ that allows it to explore all relevant directions in state space. Our main results show that the dimension of the Lie algebra obtained from the generators of the QNN is an upper bound for $M_c$, and for the maximal rank that the quantum Fisher information and Hessian matrices can reach. Underparametrized QNNs have spurious local minima in the loss landscape that start disappearing when $M\geq M_c$. Thus, the overparametrization onset corresponds to a computational phase transition where the QNN trainability is greatly improved by a more favorable landscape. We then connect the notion of overparametrization to the QNN capacity, so that when a QNN is overparametrized, its capacity achieves its maximum possible value. We run numerical simulations for eigensolver, compilation, and autoencoding applications to showcase the overparametrization computational phase transition. We note that our results also apply to variational quantum algorithms and quantum optimal control.

研究の動機と目的

• 量子ニューラルネットワーク（QNNs）における過パラメータ化の研究と、それが訓練性と一般化に与える影響を動機づける。
• QNNsにおける過パラメータ化を、量子フィッシャー情報とdynamical Lie algebra (DLA)を用いて定義・形式化する。
• 臨界パラメータ数McをDLAの次元と結び付ける理論的境界を確立し、QNNの容量への影響を検討する。
• 複数のタスクを対象に、過パラメータ化の onset での計算的フェーズ転換を数値シミュレーションを通じて示す。
• 過パラメータ化を、変分量子アルゴリズムや量子最適制御などの広い文脈と結びつける。

提案手法

• 生成子Gを持つL層の周期的パラメータ回路としてQNNsをモデル化し、ヘッセ行列に基づく損失分析を行う。
• Gによって生成されるdynamical Lie algebra gを用いて到達可能状態空間とQFIMの階数を界限づける。
• 訓練状態全体でのQFIM階数の飽和を通じて過パラメータ化を定義する（Definition 3）。
• 定理1: Rμ ≤ dim(gS) および M ≥ dim(gS) は過パラメータ化の十分条件である。
• 定理2を証明: モデル容量 D1 および D2 は ≤ dim(gS) で、過パラメータ化下で飽和する。
• 定理3を証明: 最適解におけるヘッセ行列の階数は、特定の損失形に対して min{ dim(gS), 2dr−r^2−r }以下に制限される。
• VQE、ユニタリ合成、量子オートエンコーディングに関する数値デモンストレーションを提供し、フェーズ転換を示す。

実験結果

リサーチクエスチョン

• RQ1 与えられた訓練集合Sに対して過パラメータ化を可能にする最小のパラメータ数Mはどれか。
• RQ2 QNNの生成子に関連するdynamical Lie algebraの次元が、QFIM階数とヘッセ行列階数をどのように制限するか。
• RQ3 過パラメータ化はQNNの容量の飽和に対応するか、また訓練効率とどのように関連するか。
• RQ4 Mcで予測されるフェーズ転換は、VQE、ユニタリ合成、オートエンコーディングのような異なるタスクでも観測可能か。
• RQ5 結果は量子最適制御および変分量子アルゴリズムにも適用されるか。

主な発見

• 各訓練状態に対するQFIMの階数はdim( gS )によって上限づけられ、Mc ≳ dim( gS )となる。
• 過パラメータ化は虚偽局所極小の消失と、訓練性の改善を伴う計算的フェーズ転換をもたらす。
• 過パラメータ化されると、モデル容量D1とD2はdim( gS )によって上限づけられ、少なくともある一つの景観点で飽和する。
• 最適解におけるヘッセ行列の階数はmin{ dim( gS ), 2dr − r^2 − r }以下に制限され、解における有効な曲率方向を制限する。
• 数値実験（VQE、ユニタリ合成、オートエンコーディング）は、遷移の開始がおおむね M ≈ dim( gS )付近で起こり、QFIM/Hessianの階数が理論と一致することを示す。
• 結果は量子最適制御および変分量子アルゴリズムにも適用される。