[論文レビュー] The Hintons in your Neural Network: a Quantum Field Theory View of Deep Learning

Roberto Bondesan, Max Welling|arXiv (Cornell University)|Mar 8, 2021

Neural Networks and Reservoir Computing被引用数 7

ひとこと要約

この論文は、入力信号を量子ガウス状態としてモデル化し、不確実性を組み込むことで、深層学習のための量子場理論フレームワークを導入する。線形および非線形ニューラルネットワーク層を、これらの状態上のユニタリ操作として定式化し、『ヒントン』と呼ばれる新しい量子粒子である基本励起状態を同定する。また、光量子ハードウェア上で量子変換されたニューラルネットワークを実装するための青写真を提供する。このモデルは古典的にシミュレート可能な半古典的極限を持つ。

ABSTRACT

In this work we develop a quantum field theory formalism for deep learning, where input signals are encoded in Gaussian states, a generalization of Gaussian processes which encode the agent's uncertainty about the input signal. We show how to represent linear and non-linear layers as unitary quantum gates, and interpret the fundamental excitations of the quantum model as particles, dubbed ``Hintons''. On top of opening a new perspective and techniques for studying neural networks, the quantum formulation is well suited for optical quantum computing, and provides quantum deformations of neural networks that can be run efficiently on those devices. Finally, we discuss a semi-classical limit of the quantum deformed models which is amenable to classical simulation.

研究の動機と目的

• 入力信号の不確実性を自然に組み込む量子場理論形式を、深層学習に適用する。
• 特に非線形性を含む、古典的ニューラルネットワークの構成要素を、ガウス状態上のユニタリな量子操作にマッピングする。
• 光量子コンピュータ上で、量子変換されたニューラルネットワークを効率的に実装できるようにする。
• 量子場理論モデルにおける基本励起状態としての、新しいクラスの量子粒子『ヒントン』を同定する。
• 古典的シミュレーションが可能な半古典的近似を提供する。この近似は、古典的モデルよりも性能に優れるわけではないが、検証のためのテストベッドを提供する。

提案手法

• 連続場の有限サンプルとして入力信号を表現し、ガウス過程を一般化する量子光学的ガウス状態を用いてモデル化する。
• 観測されたデータポイントから、量子ガウス過程の事後分布をベイズ推論により計算する。
• ガウス状態上のスケーリングおよびディスプレースメント操作を介して、線形層をユニタリ変換として実装する。
• 非線形ハミルトニアンの切り捨てられたテイラー展開を用いて、ソフトプルーフィングなどの古典的非線形性の量子アナログを構築する。
• フィールド演算子の三次およびそれ以上の項を含むハミルトニアンの量子シミュレーションにより、非線形操作を実現する。
• 状態準備およびユニタリ進化のための、ビームスプリッタ、位相シフトャ、およびユニバーサルゲート分解を用いて、全アーキテクチャを光量子ハードウェアにマッピングする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを、入力の不確実性を組み込む量子場理論フレームワーク内で体系的に定式化するにはどうすればよいか？
• RQ2 特に非線形性に関して、古典的ニューラルネットワーク層の量子場理論的アナログは何か？
• RQ3 光量子ハードウェアが、ガウス状態上のユニタリ変換を通じて、ニューラルネットワーク演算を効率的に実装できるか？
• RQ4 得られた量子場理論モデルの基本励起状態（量子）とは何か？また、それらはニューラルネットワークの構成要素とどのように関係するか？
• RQ5 量子変換されたニューラルネットワークを、古典的シミュレーションが可能な形で近似するにはどうすればよいか？ただし、主要な構造的特徴は保持するものとする。

主な発見

• 量子場理論モデルは、ニューラルネットワークアーキテクチャにおける場の基本量子に対応する、新しい基本励起状態『ヒントン』を導入する。
• 本モデルにおける線形層は、ガウス状態上のディスプレースメントおよびスケーリング変換を介してユニタリ操作として実装され、量子状態の構造が保持される。
• ソフトプルーフィングなどの非線形性は、非線形ハミルトニアンの切り捨てられたテイラー展開を用いて実装され、量子領域におけるユニタリ進化が可能になる。
• 古典的シミュレーションが可能な半古典的極限が同定され、古典的モデルよりも性能に優れるわけではないが、検証のためのテストベッドを提供する。
• 全量子モデルは光量子ハードウェアを必要とし、ビームスプリッタや位相シフトャなどの標準的な量子光学素子を用いて実現可能であり、状態準備の複雑さは古典的GP推論と同一のO(N³)である。
• このフレームワークは、深層学習と量子場理論の間の直接的な対応関係を確立し、量子ニューラルネットワークの新しい理論的基盤を提供するとともに、特定の推論タスクにおける量子優位性への道筋を示す。