[論文レビュー] Impact of Barren Plateaus on the Hessian and Higher Order Derivatives

M. Cerezo, Patrick J. Coles|arXiv (Cornell University)|Aug 17, 2020

Neural Networks and Applications被引用数 18

ひとこと要約

本稿は、バーレンプレート（BPs）が存在する状況において、量子ニューラルネットワークのヘッセ行列および高階微分が指数関数的に抑制されることを示している。これは、ヘッセ行列に基づく最適化手法が勾配の指数的スケーリングを克服できないことを意味する。この結果は、BP問題が一次微分最適化にとどまらず、変分量子アルゴリズムにおけるすべての微分に基づく戦略にまで及ぶことを示唆している。

ABSTRACT

The Barren Plateau (BP) phenomenon is an issue for certain quantum neural networks and variational quantum algorithms, whereby the gradient vanishes exponentially in the system size $n$. The question of whether high-order derivative information such as the Hessian could help escape a BP was recently posed in the literature. Here we show that the elements of the Hessian are exponentially suppressed in a BP, so estimating the Hessian in this situation would require a precision that scales exponentially with $n$. Hence, Hessian-based approaches do not circumvent the exponential scaling associated with BPs. We also show the exponential suppression of higher order derivatives. Hence, BPs will impact optimization strategies that go beyond (first-order) gradient descent.

研究の動機と目的

• 変分量子アルゴリズムにおけるバーレンプレート（BP）問題を、ヘッセ行列または高階微分が軽減できるかどうかを調査すること。
• BPを示す系におけるヘッセ行列および高階微分のスケーリング特性を分析すること。
• 一次勾配を超える微分に基づく最適化手法が、BPに特徴的な指数的勾配抑制を回避できるかどうかを特定すること。

提案手法

• バーレンプレート状態下における量子ニューラルネットワークのヘッセ行列の理論的分析。
• 系のサイズ n が増加するランダムパラメータ回路におけるヘッセ要素の期待値の導出と評価。
• 解析を高階微分へと拡張し、同じ状態でそれらの指数的抑制を示すこと。
• 変分量子アルゴリズムにおける典型的な挙動をモデル化するため、ランダム回路アンザッツの使用。
• 測度の集中技術を用いて、系のサイズ n に伴う微分のスケーリングを定量化すること。
• 最適化可能性を評価するために、勾配、ヘッセ行列、および高階微分の大きさを比較すること。

実験結果

リサーチクエスチョン

• RQ1 バーレンプレートが存在する状況で、ヘッセ行列の要素は指数的に抑制されるか？
• RQ2 ヘッセ行列の指数的抑制は、勾配と同様に系のサイズ n に比例してスケーリングするか？
• RQ3 ヘッセ行列に基づく最適化戦略は、変分量子アルゴリズムにおけるバーレンプレート問題を回避できるか？
• RQ4 高階微分に対しても、BP状態では指数的抑制が生じるか？
• RQ5 高階微分の指数的スケーリングは、一次微分を超える微分に基づく最適化手法の有効性を無効にしているか？

主な発見

• ヘッセ行列の要素は、バーレンプレート状態において指数的に抑制され、系のサイズ n に対して O(e^(-n)) のスケーリングを示す。
• バーレンプレート状態におけるヘッセ行列の推定には、n に指数的に比例する精度が必要であり、大規模系では実行不可能である。
• 高階微分も、ヘッセ行列と同様に、BP状態において指数的に抑制される。
• 高階微分の指数的抑制は、一次微分手法と同様の根本的スケーリング制限を、それらに依存する最適化戦略が直面することを示唆する。
• 二次以降の微分に基づく最適化技術であっても、BP問題を回避できない。すべての微分が同様に影響を受けるためである。