[論文レビュー] Exponentially Many Local Minima in Quantum Neural Networks

Xuchen You, Xiaodi Wu|arXiv (Cornell University)|Oct 6, 2021

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

この論文は、量子干渉のため、過小パラメータ化された量子ニューラルネットワーク（QNN）の損失関数の局所的最小値が指数関数的に多く存在することを示している。これは、古典的ネットワークにおける非線形活性化関数とは異なり、量子干渉に起因する。著者らは構成的アプローチを用い、パラメータ数pに対して、2^Ω(p)個の局所的最小値を含むQNNの例を証明した。また、標準的な最適化手法がそれらから脱出できないことを実験的に検証し、近い将来の量子機械学習における根本的な学習課題を浮き彫りにした。

ABSTRACT

Quantum Neural Networks (QNNs), or the so-called variational quantum circuits, are important quantum applications both because of their similar promises as classical neural networks and because of the feasibility of their implementation on near-term intermediate-size noisy quantum machines (NISQ). However, the training task of QNNs is challenging and much less understood. We conduct a quantitative investigation on the landscape of loss functions of QNNs and identify a class of simple yet extremely hard QNN instances for training. Specifically, we show for typical under-parameterized QNNs, there exists a dataset that induces a loss function with the number of spurious local minima depending exponentially on the number of parameters. Moreover, we show the optimality of our construction by providing an almost matching upper bound on such dependence. While local minima in classical neural networks are due to non-linear activations, in quantum neural networks local minima appear as a result of the quantum interference phenomenon. Finally, we empirically confirm that our constructions can indeed be hard instances in practice with typical gradient-based optimizers, which demonstrates the practical value of our findings.

研究の動機と目的

• 量子ニューラルネットワーク（QNN）の損失関数の形状を調査し、その学習における局所的最小値の性質と数を理解すること。
• 特に過小パラメータ化された状況において、QNNの局所的最小値が良性か偽物かを特定すること。
• QNNにおける局所的最小値の根本的要因を特定し、古典的ニューラルネットワークと区別すること。
• 指数関数的に多くの局所的最小値を持つ明示的なQNNの例を構築し、その難易度を実験的に検証すること。
• このようなQNNにおける局所的最小値の最大数に対する理論的上限を提供すること。

提案手法

• 2層のXYエンコーダーとパラメータ化されたユニタリゲートを用いた、単純だが困難なQNNの族を構築する。
• 量子干渉効果を介して、損失関数に指数関数的に多くの局所的最小値を誘導するデータセットを設計する。
• パラメータ数pに対して、局所的最小値の数が少なくとも2^Ω(p)であることを、量子回路の対称性と干渉を用いて証明する。
• 局所的最小値の数に対するほぼ一致する上界を確立し、構成がほぼ最適であることを示す。
• ランダムに初期化されたパラメータに対して勾配ベースの最適化手法（例：RMSProp）を用い、グローバル最小値への収束をグローバル最小値と局所的最小値の両面から実験的に評価する。
• ラベルにガウスノイズを加え、局所的最小値の安定性とグローバル最適解の探索成功率を測定する。

実験結果

リサーチクエスチョン

• RQ1 過小パラメータ化されたQNNは、損失関数の局所的最小値を指数関数的に多く持つことができるか？
• RQ2 QNNにおける局所的最小値の原因は何か——量子干渉か、非線形性か？
• RQ3 ラベルノイズや測定誤差などの摂動に対して、これらの局所的最小値は安定的か？
• RQ4 標準的な勾配ベースの最適化手法は、このような困難な例においてグローバル最小値を信頼性高く見つけられるか？
• RQ5 QNNにおける局所的最小値の数は、パラメータ数にどのように依存するか？

主な発見

• 典型的な過小パラメータ化QNNの損失関数における偽物の局所的最小値の数は、パラメータ数に応じて指数関数的に増加する。具体的には、パラメータ数pに対して、少なくとも2^Ω(p)個の局所的最小値が存在する。
• QNNにおける局所的最小値は、古典的ニューラルネットワークとは異なり、非線形活性化関数ではなく、量子干渉に起因する。
• 構築されたQNNの例はほぼ最適であり、上界と下界が指数関数的要因を除いて一致する。
• 実験的結果から、RMSPropなどの標準的な勾配ベースの最適化手法は、パラメータ数が増加するにつれて、グローバル最小値に到達する成功率が指数関数的に低下することが示された。
• ラベルノイズ、量子ノイズ、有限の測定誤差に対しても、局所的最小値は、損失関数のℓ∞-ノルム内での摂動が有界であれば、安定的である。
• 自然な線形分離可能なデータセットに対しても、パラメータ数が増えると局所的最小値の数が著しく増加し、グローバル最小値に到達する成功率は急激に低下する。