[論文レビュー] Toward Trainability of Deep Quantum Neural Networks

Kaining Zhang, Min-Hsiu Hsieh+2 more|arXiv (Cornell University)|Dec 30, 2021

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、回路の深さやキュービット数に依存しない勾配ノルムの下限を保証することで、バーレンプレートの問題を回避する、制御層量子ニューラルネットワーク（CL-QNNs）を提案する。2-designの不切実な仮定に依存せずに回転角パラメータ空間を分析することで、理論的トレーニング可能性の保証を示し、ランダムおよびハードウェア効率的QNNと比較して、二値分類およびイジング模型の基底状態探索において優れた収束性を示す。

ABSTRACT

Quantum Neural Networks (QNNs) with random structures have poor trainability due to the exponentially vanishing gradient as the circuit depth and the qubit number increase. This result leads to a general belief that a deep QNN will not be feasible. In this work, we provide the first viable solution to the vanishing gradient problem for deep QNNs with theoretical guarantees. Specifically, we prove that for circuits with controlled-layer architectures, the expectation of the gradient norm can be lower bounded by a value that is independent of the qubit number and the circuit depth. Our results follow from a careful analysis of the gradient behaviour on parameter space consisting of rotation angles, as employed in almost any QNNs, instead of relying on impractical 2-design assumptions. We explicitly construct examples where only our QNNs are trainable and converge, while others in comparison cannot.

研究の動機と目的

• 近い将来の量子デバイスにおけるトレーニングを妨げる深層量子ニューラルネットワーク（QNN）における勾配の消滅問題に対処すること。
• キュービット数や回路の深さが増大しても非ゼロの勾配ノルムを維持するQNNアーキテクチャの開発。
• 不切実な2-designの仮定に依存しないトレーニング可能性の理論的保証の提供。
• CL-QNNが二値分類および基底状態探索タスクにおいて、ランダムおよびハードウェア効率的QNNを実験的に上回ることの実証。

提案手法

• 隣接するキュービット間で制御されたエンタングルゲートを備えたブロック構造として、パラメータ化された量子回路を配置する制御層（CL）アーキテクチャを提案。
• 回転角パラメータ空間における勾配の挙動を分析し、キュービット数や深さに依存しない期待勾配ノルムの下限を導出。
• トレース不等式とユニタリ分解に基づく厳密な解析フレームワークを用いて、勾配ノルムの下限がΩ(8^{-LS})であることを証明。
• CL-QNNでのみ収束するが、ランダムおよびハードウェア効率的QNNでは勾配の消滅により失敗する明確な例を構築。
• 13キュービットのCL-QNNを実装し、ワインデータセットを用いた二値分類タスクにおいて、HE-QNNおよびランダムQNNと性能を比較。
• 200イテレーションにわたり、100回の測定（バッチサイズ8）による有限サンプリングを用いた確率的勾配降下法とAdam最適化手法を用いてトレーニング可能性を評価。

実験結果

リサーチクエスチョン

• RQ1 ランダム回路における勾配の指数的消滅にかかわらず、深層QNNをトレーニング可能にすることができるか？
• RQ2 制御層アーキテクチャが、キュービット数や回路の深さに依存しない非ゼロの勾配ノルムの下限を実現できるか？
• RQ3 2-designの仮定に依存せずに、トレーニング可能性の理論的保証を確立できるか？
• RQ4 実用的なトレーニングシナリオにおいて、CL-QNNがランダムおよびハードウェア効率的QNNを上回るか？
• RQ5 CL-QNNとベースラインアーキテクチャとの間で、勾配ノルムの経験的挙動と収束性はどのように異なるか？

主な発見

• CL-QNNの期待勾配ノルムは、Ω(8^{-LS})で下限づけられており、LはCLブロック数、Sは観測量に含まれるキュービット数である。これにより、深さやキュービット数に関係なくトレーニング可能であることが保証される。
• CL-QNNではトレーニング中に勾配ノルムが0.5以上を維持するが、ランダムおよびHE-QNNでは初期段階の勾配ノルムが著しく小さい。
• 二値分類タスクでは、CL-QNNは訓練損失とテスト誤差の両方で明確な収束を示すが、HE-QNNおよびランダムQNNは最終的な損失値が高く、収束しない。
• 確率的Adam最適化手法では、CL-QNNは125イテレーションで収束するが、同じ最適化手法はHE-QNNおよびランダムQNNでは明確な収束を示さない。
• 経験的結果から、CL-QNNはテストされたアーキテクチャの中で唯一、イジング模型の基底状態探索およびワインデータセットタスクの両方で正しくトレーニングされる。
• 理論的フレームワークは2-designの仮定を回避しており、先行研究と比較して、現実の近い将来の量子ハードウェアにさらに適用可能である。