[論文レビュー] A Quantum Model for Multilayer Perceptron

Changpeng Shao|arXiv (Cornell University)|Aug 31, 2018

Quantum Computing Algorithms and Architecture参考文献 16被引用数 15

ひとこと要約

本稿では、量子状態の準備と、新規の並列スワップテスト技術を用いて、古典的学習アルゴリズムよりも少なくとも2乗、場合によっては指数関数的高速化を達成する、多層パーセプトロン（MLP）の量子モデルを提案する。この手法は、入力および重みベクトルを量子状態 |x⟩ = (1/‖x‖)∑x_i|i⟩ および |w⟩ = (1/‖w‖)∑w_i|i⟩ として符号化し、量子振幅推定と制御操作を活用して非線形活性化関数の計算と重みの更新を効率的に行う。これにより、量子MLPの高速トレーニングが可能となり、ホフホイット・ネットワークにおけるヘビアン学習において指数関数的高速化を実現する。

ABSTRACT

Multilayer perceptron is the most common used class of feed-forward artificial neural network. It contains many applications in diverse fields such as speech recognition, image recognition, and machine translation software. To cater for the fast development of quantum machine learning, in this paper, we propose a new model to study multilayer perceptron in quantum computer. This contains the tasks to prepare the quantum state of the output signal in each layer and to establish the quantum version of learning algorithm about the weights in each layer. We will show that the corresponding quantum versions can achieve at least quadratic speedup or even exponential speedup over the classical algorithms. This provide us an efficient method to study multilayer perceptron and its applications in machine learning in quantum computer. Finally, as an inspiration, an exponential fast learning algorithm (based on Hebb's learning rule) of Hopfield network will be proposed.

研究の動機と目的

• 非線形活性化関数と重み学習を量子コンピューティングフレームワーク内に統合した、多層パーセプトロンの量子モデルの開発を目的とする。
• 非線形性の課題を、並列スワップテストという新規な量子技術を用いることで克服し、内積と非線形関数の効率的計算を可能にする。
• 古典的MLPトレーニングアルゴリズムと比較して、出力計算および重み更新プロセスの両方で顕著な高速化を達成することを目的とする。
• 同様のコア技術を用いて、量子ホフホイット・ネットワークへの拡張を図り、ヘビアン学習において指数関数的高速化を示すこと。

提案手法

• 入力および重みベクトルが、|x⟩ = (1/‖x‖)∑x_i|i⟩ および |w⟩ = (1/‖w‖)∑w_i|i⟩ として量子状態として符号化され、重ね合わせに基づく処理が可能になる。
• 並列スワップテストを用いて、複数のキュービットペアを介して内積 ⟨x|w⟩ を並列に計算し、重み付き和の効率的推定が可能になる。
• 非線形活性化関数（例：シグモイド関数やしきい値関数）は、推定された内積に条件づけられた制御回転により実装され、HHLアルゴリズムにインspiredされている。
• 重みの更新は、アーキテクチャのキュービット上での制御ユニタリ操作により符号化された、量子版のオンラインおよびバッチ学習により実行される。
• ホフホイット・ネットワークの学習ルールは、入力と重み状態の重ね合わせを用いて変更され、すべての重み更新が同時に計算可能になる。
• 全プロセスはユニタリティとコherーに保たれるように設計されており、量子回路モデルと互換性があり、特定の条件下で指数関数的高速化を実現可能になる。

実験結果

リサーチクエスチョン

• RQ1 非線形活性化関数と学習ダイナミクスを保持したまま、量子コンピュータ上で多層パーセプトロンを効果的にモデル化できるか？
• RQ2 量子版の多層パーセプトロンは、特に重み更新と出力計算において、古典的トレーニングアルゴリズムよりも高速化を達成できるか？
• RQ3 並列スワップテスト技術は、量子ニューラルネットワークにおける内積と非線形関数の効率的かつスケーラブルな計算を可能にするか？
• RQ4 同じ量子フレームワークを、ホフホイット・ネットワークなどの他のニューラルネットワークモデルに拡張でき、学習において指数関数的高速化を達成できるか？
• RQ5 勾配ベースおよびヘビアン学習ルールをユニタリかつコherーな量子フレームワーク内に実装するために必要な、量子アルゴリズムの原子的素子は何か？

主な発見

• 提案された多層パーセプトロンの量子モデルは、古典的アルゴリズムと比較して、出力信号の計算および重み更新の学習プロセスにおいて、少なくとも2乗の高速化を達成する。
• 並列スワップテストの使用により、内積と非線形関数の推定が効率的に行えるようになり、量子MLPの計算的優位性の根幹をなす。
• ホフホイット・ネットワークでは、量子ヘビアン学習ルールが古典的対比に対して指数関数的高速化を達成する。特に入力ニューロン数が多い場合に顕著である。
• 入力および重みベクトルの量子状態準備には、O(log n) 個のキュービットで十分であり、n 個の入力に対して n 個のキュービットを要するモデルと比較して顕著な優位性を示す。
• オンラインおよびバッチ学習の両モードをサポートし、学習プロセスがユニタリに符号化されており、量子コherーに保たれる。
• 非線形ニューラルダイナミクスを量子計算に統合する可能性が示され、量子機械学習の新たな道筋が開かれる。