[論文レビュー] Application of Quantum Annealing to Training of Deep Neural Networks

Steve Adachi, Maxwell P. Henderson|arXiv (Cornell University)|Oct 21, 2015

Quantum Computing Algorithms and Architecture参考文献 15被引用数 179

ひとこと要約

本稿では、深層ニューラルネットワークの事前学習段階において、制限ボルツマンマシン（RBM）のサンプリングにD-Wave量子アニーリング機を用いる手法を提案している。従来のギブスサンプリングに代えて量子サンプリングを採用する。粗いMNISTデータセットにおいて、量子ベースの手法は、はるかに少ない学習反復回数で、対照的勾配（CD）と同等またはそれ以上の精度を達成した。これは、生成的事前学習における高速化の可能性を示唆している。

ABSTRACT

In Deep Learning, a well-known approach for training a Deep Neural Network starts by training a generative Deep Belief Network model, typically using Contrastive Divergence (CD), then fine-tuning the weights using backpropagation or other discriminative techniques. However, the generative training can be time-consuming due to the slow mixing of Gibbs sampling. We investigated an alternative approach that estimates model expectations of Restricted Boltzmann Machines using samples from a D-Wave quantum annealing machine. We tested this method on a coarse-grained version of the MNIST data set. In our tests we found that the quantum sampling-based training approach achieves comparable or better accuracy with significantly fewer iterations of generative training than conventional CD-based training. Further investigation is needed to determine whether similar improvements can be achieved for other data sets, and to what extent these improvements can be attributed to quantum effects.

研究の動機と目的

• 量子アニーリングが深層ニューラルネットワークの生成的事前学習段階を高速化できるかどうかを調査すること。
• 従来のギブスサンプリングをD-Waveデバイスからの量子サンプリングに置き換えること。
• 粗いグレインのMNISTデータセットにおける量子サンプリングの性能を、精度と学習効率の観点から評価すること。
• 観察された改善が量子効果に起因するのか、それともアルゴリズム的利点に起因するのかを特定すること。
• 量子ハードウェアを深層学習のトレーニングパイプラインに統合する可能性を検討すること。

提案手法

• 著者らは、制限ボルツマンマシン（RBM）のエネルギー関数を、D-Wave量子アニーリング機に適した2次無偏バイナリ最適化（QUBO）問題にマッピングする。
• D-Wave 2Xプロセッサから生成された量子サンプルを用いて、RBMの重み更新に必要な統計的期待値を推定する。
• 量子サンプリングに基づくトレーニング手順を、粗いグレインのMNISTデータセットに適用する。
• 標準的なRBMトレーニングと同一の重み更新ルールを用いるが、ギブスサンプリングの代わりに量子生成サンプルを用いる。
• 収束速度と最終的な分類精度の観点から、標準的な対照的勾配（CD）とのトレーニングプロセスを比較する。
• 複数回の実行における性能を分析し、一貫性と統計的有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 量子アニーリングは、古典的ギブスサンプリングに比べて、RBM事前学習のためのサンプリングをより速く、またはより正確に行えるか？
• RQ2 量子サンプリングに基づくRBMトレーニングの性能は、CDに基づくトレーニングと比較して、収束速度と最終的精度の観点でどう異なるか？
• RQ3 観察された改善が量子効果に起因する割合はどの程度か？
• RQ4 粗いMNISTを越えて、より大きなまたはより複雑なデータセットに対しても、この量子サンプリングアプローチはスケーラブルか？
• RQ5 量子アニーリングは、深層信念ネットワークの標準的な深層学習トレーニングパイプラインに効果的に統合できるか？

主な発見

• 量子サンプリングに基づくトレーニングは、粗いグレインのMNISTデータセットにおいて、CDベースのトレーニングと同等またはそれ以上のテスト精度を達成した。
• 従来のCDトレーニングに比べて、収束に必要な学習反復回数が著しく少なかった。
• 結果から、量子アニーリングがRBM事前学習におけるサンプリングの代替手段として実用的である可能性が示唆された。これは、トレーニング時間を短縮する可能性を秘めている。
• 研究では、量子サンプリングがRBMにおける効果的な重み更新に適した高品質なサンプルを生成できることを観察した。
• 著者らは、改善が量子効果に起因するのか、それともサンプリング品質などの他の要因に起因するのかを特定するため、さらなる調査が必要であると指摘した。
• 本手法は、近い将来の量子ハードウェアを深層学習の事前学習に活用する可能性を実証する概念的妥当性を示している。