[論文レビュー] Quantum Deep Learning

Nathan Wiebe, Ashish Kapoor+1 more|arXiv (Cornell University)|Dec 10, 2014

Quantum Computing Algorithms and Architecture被引用数 5

ひとこと要約

本稿では、深層ボルツマンマシンの学習に必要な勾配を効率的に計算するための量子アルゴリズム—量子サンプリングによる勾配推定（GEQS）および量子アモニチュード推定による勾配推定（GEQAE）—を提案する。これらの手法は、ギブス分布に類似した量子状態を生成することで、深層ボルツマンマシンの勾配計算に指数的スピードアップを実現し、コントラストダイバージェンスのような不適切な近似に依存せずに、制限付きおよび完全なボルツマンマシンの高速かつ高精度な学習を可能にする。

ABSTRACT

In recent years, deep learning has had a profound impact on machine learning and artificial intelligence. At the same time, algorithms for quantum computers have been shown to efficiently solve some problems that are intractable on conventional, classical computers. We show that quantum computing not only reduces the time required to train a deep restricted Boltzmann machine, but also provides a richer and more comprehensive framework for deep learning than classical computing and leads to significant improvements in the optimization of the underlying objective function. Our quantum methods also permit efficient training of full Boltzmann machines and multi-layer, fully connected models and do not have well known classical counterparts.

研究の動機と目的

• 分割関数の指数的スケーリングに起因する、深層ボルツマンマシンにおける正確な勾配計算の計算不能性を克服すること。
• コントラストダイバージェンスのようなヒューリスティックな近似に依存せずに、最尤推定関数における期待値を直接推定する量子アルゴリズムの開発。
• 量子重ね合わせとアモニチュード推定を活用することで、古典的手法では効率的でない完全なボルツマンマシンおよび深層制限付きボルツマンマシンの効率的学習を可能にすること。
• 量子サンプリングを用いることで最適化とモデル品質を向上させ、ディープラーニングのより包括的かつ正確なフレームワークを提供すること。

提案手法

• GEQSは、量子状態準備技術を用いてボルツマンマシンのギブス分布に類似したコherentな重ね合わせ状態を生成する量子アルゴリズムを提案する。
• GEQAEでは、量子アモニチュード推定（QAE）を用い、$\langle v_i h_j \rangle$ などのオブザーバブルの期待値を高い精度で推定し、古典的モンテカルロ法に比べてクエリ複雑度を低減する。
• ハミルトニアンシミュレーションを用いてエネルギー関数 $E(v,h)$ に従って量子状態を時間発展させ、ギブス分布に対応する熱的状態を生成する。
• 単一キュービット回転と制御NOTゲートを用いて、状態準備と測定に必要なユニタリ操作を実装し、量子回路のユニバーサルゲートセットを活用する。
• ボルツマンマシンのエネルギー関数の構造を活用して、量子ハミルトニアンに問題をマッピングし、量子位相推定またはアモニチュード推定を用いて効率的にシミュレート可能にする。
• 量子測定を用いて生成された量子状態からサンプリングを行い、最尤推定関数の勾配に含まれる期待値を抽出する。

実験結果

リサーチクエスチョン

• RQ1 量子アルゴリズムは、深層ボルツマンマシンの学習に必要な勾配計算において、古典的手法に比べて指数的スピードアップを達成できるか？
• RQ2 量子手法は、理論的保証がなく、しばしば最適解に到達しないコントラストダイバージェンスのような古典的近似の制限を回避できるか？
• RQ3 完全なボルツマンマシン（隠れユニット同士が相互に接続されているもの）は、古典的システムでは計算不能であるが、量子計算を用いて効率的に学習可能か？
• RQ4 量子強化型ディープラーニングフレームワークは、複雑で階層的な表現において、学習効率とモデル品質の両面で古典的手法を上回るか？
• RQ5 量子アルゴリズムは、ディープラーニングモデルにおける最尤推定関数の収束性と最適化において、古典的手法と比較してどのように異なるか？

主な発見

• 提案された量子アルゴリズムは、古典的モンテカルロ法に比べて期待値推定において2乗のスピードアップを達成し、精度 $\epsilon$ におけるクエリ複雑度を $O(1/\epsilon^2)$ から $O(1/\epsilon)$ に削減する。
• GEQSおよびGEQAEは、コントラストダイバージェンスのような近似に依存せず、最尤推定関数の正確な勾配計算を可能にする。これらの近似手法は理論的に不備があり、収束問題を引き起こすことが知られている。
• 本手法により、分割関数の計算コストが指数的に増加するため、従来の古典的コンピュータでは不可能だった完全なボルツマンマシンの効率的学習が可能になる。
• 量子フレームワークは、完全なレイヤー間接続を持つ深層制限付きボルツマンマシン（dRBMs）の学習を可能にし、古典的シーケンシャル学習が無向構造を破るという制限を克服する。
• 量子アプローチにより、古典的近似手法が引き起こすバイアスを避けることができ、学習データに対する尤度が向上したより最適化されたモデルが得られる。
• アルゴリズムは原則としてスケーラブルであり、量子並列性を活用して、可視ユニットおよび隠れユニットの配置が指数的に大きな状態空間を同時に探索できる。