[論文レビュー] Symmetric Pruning in Quantum Neural Networks

Xinbiao Wang, Junyu Liu+4 more|arXiv (Cornell University)|Aug 30, 2022

Quantum Computing Algorithms and Architecture被引用数 12

ひとこと要約

本稿では、量子ニューラルネットワーク（QNN）における対称的アーキテクチャが非対称なものよりも高速に収束し、より優れたトレーニング性能を示す理由を理論的に説明するため、有効量子ニューラルタングェントカーネル（EQNTK）を導入する。低有効次元と高いEQNTK値が効率的な過パラメータ化を示唆するのと連携して、著者らは対称的プルーニング（SP）を提案する。これは、対称性に関する明示的な知識がなくても、過パラメータ化された非対称回路から自動的に対称的かつハードウェアに効率的なアーキテクチャを導出する手法であり、NISQデバイス上でのトレーニングをより速く、より効率的に行うために、回路の深さと測定回数（ショット数）を顕著に削減することを実証した。

ABSTRACT

Many fundamental properties of a quantum system are captured by its Hamiltonian and ground state. Despite the significance of ground states preparation (GSP), this task is classically intractable for large-scale Hamiltonians. Quantum neural networks (QNNs), which exert the power of modern quantum machines, have emerged as a leading protocol to conquer this issue. As such, how to enhance the performance of QNNs becomes a crucial topic in GSP. Empirical evidence showed that QNNs with handcraft symmetric ansatzes generally experience better trainability than those with asymmetric ansatzes, while theoretical explanations have not been explored. To fill this knowledge gap, here we propose the effective quantum neural tangent kernel (EQNTK) and connect this concept with over-parameterization theory to quantify the convergence of QNNs towards the global optima. We uncover that the advance of symmetric ansatzes attributes to their large EQNTK value with low effective dimension, which requests few parameters and quantum circuit depth to reach the over-parameterization regime permitting a benign loss landscape and fast convergence. Guided by EQNTK, we further devise a symmetric pruning (SP) scheme to automatically tailor a symmetric ansatz from an over-parameterized and asymmetric one to greatly improve the performance of QNNs when the explicit symmetry information of Hamiltonian is unavailable. Extensive numerical simulations are conducted to validate the analytical results of EQNTK and the effectiveness of SP.

研究の動機と目的

• QNNにおける対称的アーキテクチャが非対称なアーキテクチャよりも優れたトレーニング性能と高速収束を示す理由を理解すること。
• QNNにおける対称性、有効次元、収束行動の間の理論的枠組みを構築すること。
• 対称性に関する情報が入手不可な状況でも、過パラメータ化された非対称回路から自動的に対称的かつ効率的なアーキテクチャを生成する手法を開発すること。
• 回路の深さや測定回数といった量子リソース要件の削減によって、QNNのハードウェア効率を向上させること。
• 基底状態準備タスクを対象に、広範な数値シミュレーションを通じて理論的知見を検証すること。

提案手法

• トレーニングダイナミクスの指標として、有効量子ニューラルタングェントカーネル（EQNTK）を提案し、アーキテクチャの対称性が収束に与える影響を捉える。
• 有効次元を定義し、過パラメータ化の閾値を決定づける主要要因とし、低値であるほど収束が速くなることを示す。
• 対称的プルーニング（SP）を導入し、システム対称性、構造的対称性、空間的対称性を適用することで、非対称なアーキテクチャから対称的構造を体系的に抽出する。
• EQNTKを用いて、高いカーネル値と低い有効次元を維持するパラメータ部分空間を同定し、プルーニングをガイドする。
• SPを段階的に適用する：SP0（初期の過パラメータ化されたアーキテクチャ）、SP1（システム対称性）、SP2（回路構造対称性）、SP3（空間的対称性）、段階的にパラメータ数と深さを削減する。
• 2つの指標を用いてハードウェア効率を評価する：最適化ステップごとの測定回数（ショット数）と、ε収束（ε=10−5）に到達するために必要な回路の深さ。

実験結果

リサーチクエスチョン

• RQ1 QNNにおける対称的アーキテクチャが非対称なアーキテクチャよりも高速に収束し、より優れたトレーニング性能を示す理由は、なぜか？（厳密な理論的説明が欠けている。）
• RQ2 有効次元とEQNTKを用いて、QNNにおける過パラメータ化の閾値と収束行動を定量的に評価できるか？
• RQ3 対称的プルーニング（SP）は、収束速度を損なわず、どの程度量子リソース要件を削減できるか？
• RQ4 対称性に関する明示的な情報が欠如している場合、QNNにおける効率的なアーキテクチャ設計にどのような影響を与えるか？
• RQ5 EQNTKは、実際の対称的QNNのトレーニングダイナミクスを正確に予測できるか？

主な発見

• 対称的アーキテクチャは、低有効次元と高いEQNTK値のおかげで、過パラメータ化領域に到達するためのパラメータ数と回路の深さを著しく削減でき、高速収束を実現する。
• 対称的プルーニング（SP）により、横磁場イジング模型（TFIM）では最適化ステップごとの測定回数が最大14倍、Erdos-RenyiのMaxCut問題では10倍まで削減された。
• TFIMでは回路の深さが3倍に短縮され、Erdos-Renyiと3-正則グラフのMaxCutタスクではそれぞれ1.8〜2倍に短縮された。SP3は一部のケースで深さがわずかに増加するものの、SP1よりも高い効率を示した。
• 数値結果から、残差トレーニング誤差が指数関数的に減少することが確認され、定理2の理論的予測と一致した。これにより、EQNTKが実際のトレーニングダイナミクスを的確に捉えられることを裏付けた。
• SP3処理済みのアーキテクチャは、初期の非対称アーキテクチャよりも低い量子リソース使用量でε収束（ε=10−5）に到達でき、NISQデバイス上でのハードウェア効率の向上を実証した。
• 本手法により、対称性に関する情報が明示的に与えられていなくても、SPによって自動的に対称的構造を抽出でき、効果的なQNN性能を実現できることが示された。