[論文レビュー] The dilemma of quantum neural networks

Qian Yang, Xinbiao Wang+3 more|arXiv (Cornell University)|Jun 9, 2021

Quantum Computing Algorithms and Architecture参考文献 60被引用数 8

ひとこと要約

本稿は、実世界のデータセットを用いた体系的な数値実験を通じて、量子ニューラルネットワーク（QNN）の一般化性能とトレーニング可能性を調査する。現在のQNNは、有効なモデル容量が限定的で、正則化が効果的でないため、古典的ディープラーニングモデルに劣り、実用応用における量子優位性を裏付けるものではない。

ABSTRACT

The core of quantum machine learning is to devise quantum models with good trainability and low generalization error bound than their classical counterparts to ensure better reliability and interpretability. Recent studies confirmed that quantum neural networks (QNNs) have the ability to achieve this goal on specific datasets. With this regard, it is of great importance to understand whether these advantages are still preserved on real-world tasks. Through systematic numerical experiments, we empirically observe that current QNNs fail to provide any benefit over classical learning models. Concretely, our results deliver two key messages. First, QNNs suffer from the severely limited effective model capacity, which incurs poor generalization on real-world datasets. Second, the trainability of QNNs is insensitive to regularization techniques, which sharply contrasts with the classical scenario. These empirical results force us to rethink the role of current QNNs and to design novel protocols for solving real-world problems with quantum advantages.

研究の動機と目的

• 現在の量子ニューラルネットワーク（QNN）が、実世界のデータセットにおいて、古典的ディープラーニングモデルに計算上の優位性を示せるかどうかを評価すること。
• QNNの性能が著しく劣る背後要因を、モデル容量とトレーニング可能性に焦点を当て、調査すること。
• 古典的正則化技術（例：重み減衰）がQNN最適化に与える効果を評価すること。
• NISQ時代のハードウェアにおける量子ノイズがQNNトレーニング性能に与える影響を検討すること。
• 公平で包括的なQNN評価を可能にする標準化されたオープンソースベンチマークを提供すること。

提案手法

• 複数の実世界データセットにおいて、QNNと古典的ディープニューラルネットワーク（DNN）を体系的に比較する数値実験を実施する。
• 一般化誤差を、$ \left| \hat{\mathcal{R}}_S(\hat{\bm{\theta}}) - \mathcal{R}(\hat{\bm{\theta}}) \right| $ で測定する。ここで $ \hat{\mathcal{R}}_S $ は経験的リスク、$ \mathcal{R} $ は期待リスクを表す。
• 重み減衰などの標準的正則化手法を適用し、QNN最適化に与える影響を評価する。重み減衰は $ \arg\min_{\bm{\theta}} \mathcal{L}(\bm{\theta}) = \frac{1}{n}\sum_{i=1}^{n}\ell(y^{(i)},\hat{y}^{(i)}) + \lambda\|\bm{\theta}\| $ で定義される。
• 回路実行時に量子ノイズの影響をシミュレートすることで、NISQ条件下でのQNN性能を評価する。
• 拡張可能なモデル登録と標準化されたベンチマークを可能にする、ファクトリーメソッドベースのソフトウェアフレームワークを実装する。
• ノイズなしとノイズありの両状況において、QNNと古典的MLPのトレーニングおよび推論の実行時間コストを比較する。

Figure 1: An overview of the classical and quantum learning models . Generalization ability: $\mathcal{H}$ is the whole hypothesis space. $\mathcal{H}_{D}$ and $\mathcal{H}_{Q}$ refer to the hypothesis space represented by QNN and DNN respectively. When the target concept is covered by $\mathcal{H}_

実験結果

リサーチクエスチョン

• RQ1 現在のQNNは、実世界のデータセットにおいて、古典的ディープラーニングモデルよりも一般化性能が優れているか？
• RQ2 合成データ上で理論的優位性があるにもかかわらず、なぜQNNは古典的モデルに劣るのか？
• RQ3 古典的正則化手法（例：重み減衰）は、QNNのトレーニング可能性を向上させるのにどの程度有効か？
• RQ4 NISQデバイスにおける量子ノイズは、QNN性能をどの程度劣化させるか？
• RQ5 統計的学習理論を用いて、QNNが実世界の学習タスクにおいて根本的に制限を受ける要因を特定できるか？

主な発見

• QNNは有効なモデル容量が著しく制限されており、実世界のデータセットにおいて一般化性能が著しく劣り、これが古典的モデルに劣る理由を説明している。
• 重み減衰などの正則化手法は、QNNのトレーニング可能性にほとんど影響を及ぼさないが、これは古典的ディープラーニングにおけるその有効性とは対照的である。
• NISQデバイスにおける量子ノイズにより、テスト精度が約10%低下し、QNN性能が顕著に劣化する。
• NISQハードウェア上でQNNをトレーニングするには計算コストが高く、1イテレーションあたり最大126秒を要するが、ノイズなしQNNでは4秒、古典的MLPでは0.02秒である。
• 適切なバッチサイズを用いたSGD最適化器はQNN最適化にわずかな改善をもたらすが、正則化を施しても40エポックを過ぎると過学習が顕著に現れる。
• 本研究は、標準化されたデータセット、モデル、評価スクリプトを備えたオープンソースベンチマークを提供し、公平かつ拡張可能なQNN評価を可能にする。

Figure 2: The machinery of various QNNs . The schematic of QNN, depicted in the upper left, consists of a hybrid quantum-classical loop, where the quantum computer is employed to train the learnable parameters and the classical processor is utilized to perform the optimization or post-processing to