[論文レビュー] Toward Trainability of Quantum Neural Networks

Kaining Zhang, Min-Hsiu Hsieh+2 more|arXiv (Cornell University)|Nov 12, 2020

Quantum Computing Algorithms and Architecture参考文献 33被引用数 43

ひとこと要約

本論文は、木状テンソル（TT）およびステップ制御（SC）量子ニューロルネットワークの訓練可能性を保証する下限を導出することで、勾配ノルムに関する下界を導出し、二値分類タスクにおいてランダムQNNより優れた訓練性能と精度を示します。ユニタリ2-designの仮定を回避し、MNIST由来データのシミュレーションによって結果を検証します。

ABSTRACT

Quantum Neural Networks (QNNs) have been recently proposed as generalizations of classical neural networks to achieve the quantum speed-up. Despite the potential to outperform classical models, serious bottlenecks exist for training QNNs; namely, QNNs with random structures have poor trainability due to the vanishing gradient with rate exponential to the input qubit number. The vanishing gradient could seriously influence the applications of large-size QNNs. In this work, we provide a viable solution with theoretical guarantees. Specifically, we prove that QNNs with tree tensor and step controlled architectures have gradients that vanish at most polynomially with the qubit number. We numerically demonstrate QNNs with tree tensor and step controlled structures for the application of binary classification. Simulations show faster convergent rates and better accuracy compared to QNNs with random structures.

研究の動機と目的

• 量子ニューラルネットワーク（QNNs）における空白地帯（barren plateaus）問題へ対処する。
• 証明可能な訓練可能性を持つTT-QNNおよびSC-QNNアーキテクチャを導入する。
• 2-design仮定に依存しない勾配ノルムの下界を提供する。
• TT-QNNおよびSC-QNNが訓練と精度の点でランダムQNNを上回ることをシミュレーションを通じて示す。
• 近端量子デバイスに適用可能な入力エンコードフレームワークと理論的保証を提供する。

提案手法

• TT-QNNおよびSC-QNNアーキテクチャとそれらのパラメータ化回路を定義する。
• 勾配ノルムの下界を証明する: E||∇θ fTT||^2 ≥ ~Ω(1/n) および E||∇θ fSC||^2 ≥ ~Ω(2−nc)。
• パラメータシフト則を用いて単一量子ビットの位相エンコードゲートの勾配を計算する。
• 入力状態を準備するエンコーディング回路を導入し、Theorem 3.2（Eβα(ρin) ≥ 2−2L）を用いて α(ρin) を下界化する。
• unitary 2-design の仮定に依存せず結果を導出する。
• MNIST由来データを用いた二値分類実験を実施し、TT-QNN、SC-QNN、およびRandom-QNNを比較する。

実験結果

リサーチクエスチョン

• RQ1 TT-QNNおよびSC-QNNは空白地帯を回避し、多項式的に下がらない勾配ノルムを提供するか。
• RQ2 TT-QNNおよびSC-QNNの勾配ノルムの下界はどのようなもので、nおよびncにどう依存するか。
• RQ3 入力状態エンコードは訓練可能性と勾配の挙動にどのように影響するか。
• RQ4 二値分類において、TT-QNNおよびSC-QNNアーキテクチャはランダム構造のQNNよりも訓練ダイナミクスと精度が良いか。

主な発見

Class Pair	TT-QNN Test Accuracy (F1-0, F1-1)	SC-QNN Test Accuracy (F1-0, F1-1)	Random-QNN Test Accuracy (F1-0, F1-1)
0-1	0.959 (0.958, 0.960)	0.979 (0.979, 0.979)	0.920 (0.915, 0.925)
0-2	0.844 (0.852, 0.834)	0.859 (0.859, 0.858)	0.738 (0.751, 0.722)
0-3	0.835 (0.810, 0.854)	0.859 (0.857, 0.860)	0.659 (0.680, 0.635)
0-4	0.938 (0.938, 0.938)	0.925 (0.925, 0.925)	0.779 (0.796, 0.759)
1-2	0.929 (0.930, 0.927)	0.965 (0.965, 0.965)	0.700 (0.728, 0.666)
1-3	0.938 (0.941, 0.934)	0.881 (0.879, 0.884)	0.765 (0.773, 0.756)
1-4	0.821 (0.837, 0.802)	0.871 (0.879, 0.862)	0.705 (0.737, 0.664)
2-3	0.814 (0.791, 0.832)	0.820 (0.810, 0.829)	0.709 (0.743, 0.664)
2-4	0.931 (0.928, 0.934)	0.935 (0.933, 0.937)	0.645 (0.728, 0.487)
3-4	0.931 (0.930, 0.933)	0.944 (0.943, 0.945)	0.819 (0.839, 0.793)

• TT-QNNの勾配ノルムには下界 ~Ω(1/n) がある。
• SC-QNNの勾配ノルムには下界 ~Ω(2−nc) がある。
• これらの下界はユニタリ2-designを仮定せず、線形深さ回路にも適用される。
• エンコーディング回路の解析は Eβα(ρin) ≥ 2−2L を示し、入力状態の変動に対する勾配推定を安定化する。
• MNISTベースの二値分類実験は、TT-QNNとSC-QNNが訓練損失とテスト精度の両方でRandom-QNNを上回り、複数の量子ビット数（n=8,10,12）で優位であることを示す。
• 勾配ノルムはシミュレーションで観測される値が理論的境界と一致する。