[論文レビュー] A Path Towards Quantum Advantage in Training Deep Generative Models with Quantum Annealers

Walter Vinci, Lorenzo Buffoni+4 more|arXiv (Cornell University)|Dec 4, 2019

Quantum Computing Algorithms and Architecture参考文献 3被引用数 8

ひとこと要約

本論文は、D-Wave量子アニーリング機をネイティブなボルツマンサンプラーとして用い、畳み込み自己符号化器の潜在空間で深層生成モデルを学習する、量子古典ハイブリッド変分オートエンコーダー（QVAE）を提案する。MNISTでは−82.2±0.2 natsのログ尤度を達成し、ノイズに強く、大規模かつ表現力のある潜在空間RBMsを介した量子優位性へのスケーラブルな道筋を示している。

ABSTRACT

The development of quantum-classical hybrid (QCH) algorithms is critical to achieve state-of-the-art computational models. A QCH variational autoencoder (QVAE) was introduced in Ref. [1] by some of the authors of this paper. QVAE consists of a classical auto-encoding structure realized by traditional deep neural networks to perform inference to, and generation from, a discrete latent space. The latent generative process is formalized as thermal sampling from either a quantum or classical Boltzmann machine (QBM or BM). This setup allows quantum-assisted training of deep generative models by physically simulating the generative process with quantum annealers. In this paper, we have successfully employed D-Wave quantum annealers as Boltzmann samplers to perform quantum-assisted, end-to-end training of QVAE. The hybrid structure of QVAE allows us to deploy current-generation quantum annealers in QCH generative models to achieve competitive performance on datasets such as MNIST. The results presented in this paper suggest that commercially available quantum annealers can be deployed, in conjunction with well-crafted classical deep neutral networks, to achieve competitive results in unsupervised and semisupervised tasks on large-scale datasets. We also provide evidence that our setup is able to exploit large latent-space (Q)BMs, which develop slowly mixing modes. This expressive latent space results in slow and inefficient classical sampling, and paves the way to achieve quantum advantage with quantum annealing in realistic sampling applications.

研究の動機と目的

• 現在の世代の量子アニーリング機を用いて、スケーラブルな量子古典ハイブリッドフレームワークを構築し、深層生成モデルを学習すること。
• 大規模な制限付きボルツマンマシン（RBMs）における古典的サンプリングの計算ボトルネックを、量子アニーリング機にサンプリングをオフロードすることで克服すること。
• 量子アニーリング機が、埋め込みや誤り補正スキームを必要とせず、ハイブリッドモデルにおける効果的でネイティブなサンプラーとして機能できることを示すこと。
• 古典的サンプリングが困難である大規模で複雑な潜在空間RBMsを活用することで、非教師あり学習における量子優位性を達成する可能性を検討すること。
• 異なるノイズプロファイルを示す量子アニーリング機のアーキテクチャを用いて、ハイブリッドモデルのロバストネスを検証すること。

提案手法

• モデルは、入力データを離散的潜在空間に符号化することで、効率的な特徴抽出と次元削減を実現する、古典的深層畳み込み自己符号化器を使用する。
• 潜在空間で訓練された制限付きボルツマンマシン（RBM）が、事前分布をモデル化するが、そのサンプリングはD-Wave量子アニーリング機によって実行される。
• 量子アニーリング機がRBMのエネルギー準位のネイティブなサンプラーとして使用され、マイナー埋め込みや古典的後処理を一切行わず、ハードウェアのネイティブなグラフ接続性を活用する。
• 訓練は、オートエンコーダーとRBMの両方が確率的勾配降下法を用いて同時に最適化される、ハイブリッド変分推論フレームワークを採用する。
• ノイズと制御誤差は、深層ニューラルネットワークが学習された前処理および後処理としての正則化効果により緩和される。
• 本手法は、異なるqubit接続性（チメラおよびペガスス）とノイズ特性を示す3台のD-Waveアニーリング機でテストされ、一貫した性能を示した。

実験結果

リサーチクエスチョン

• RQ1 量子アニーリング機は、埋め込みや誤り補正を必要とせず、深層生成モデルにおけるネイティブなボルツマンサンプラーとして効果的に使用可能か？
• RQ2 実際の量子ハードウェアを用いた場合、ハイブリッドQVAEフレームワークはMNISTのような標準ベンチマークで競争力のある性能を達成するか？
• RQ3 オートエンコーダーに内蔵された深層ニューラルネットワークは、現在の世代の量子アニーリング機におけるノイズと制御誤差をどの程度緩和するか？
• RQ4 潜在空間に大規模でゆっくりと混合するRBMsは、複雑な分布のサンプリングにおける量子優位性への道筋を提供できるか？
• RQ5 ノイズと接続性が異なるさまざまな量子アニーリング機アーキテクチャにおいて、モデルの性能はどのようにスケーリングするか？

主な発見

• QVAEはMNISTデータセットで−82.2±0.2 natsのログ尤度を達成し、−78.5 natsを達成する最先端の自己回帰モデルを上回った。
• モデルは、異なるノイズプロファイルとqubit接続性（チメラおよびペガスス）を示す3台のD-Wave量子アニーリング機で一貫した性能を示した。
• 深層畳み込み自己符号化器は、ノイズと制御誤差の影響を効果的に正則化し、最小限の重み正則化でも安定した学習を可能にした。
• 量子アニーリング機はマイナー埋め込みやメジャリティ投票を一切行わず、物理的接続性を保ったままネイティブなサンプラーとして使用された。
• 結果から、古典的サンプリングがコスト的に困難な大規模かつ表現力のある潜在空間RBMsは、量子アニーリングを介して活用可能であり、量子優位性への道筋が示唆された。
• フレームワークは任意の量子ハードウェア接続性に柔軟かつ適応可能であり、多様なアニーリング機アーキテクチャへの展開が可能である。