[論文レビュー] Deep Learning and Quantum Entanglement: Fundamental Connections with Implications to Network Design

Yoav Levine, David Yakira+2 more|arXiv (Cornell University)|Apr 5, 2017

Quantum Computing Algorithms and Architecture参考文献 32被引用数 35

ひとこと要約

この論文は、共通するテンソルネットワーク構造を通じて、深層畳み込み算術回路（ConvAC）と量子多体波動関数の根本的同等性を確立する。量子もつれの測度を相関モデリングの指標として用いることで、著者らは各層のチャネル数が、下位グラフにおける最小カットを通じてネットワークの帰納的バイアスを制御することを示し、表現力の高い深層ネットワークの原理的設計フレームワークを提供する。

ABSTRACT

Deep convolutional networks have witnessed unprecedented success in various machine learning applications. Formal understanding on what makes these networks so successful is gradually unfolding, but for the most part there are still significant mysteries to unravel. The inductive bias, which reflects prior knowledge embedded in the network architecture, is one of them. In this work, we establish a fundamental connection between the fields of quantum physics and deep learning. We use this connection for asserting novel theoretical observations regarding the role that the number of channels in each layer of the convolutional network fulfills in the overall inductive bias. Specifically, we show an equivalence between the function realized by a deep convolutional arithmetic circuit (ConvAC) and a quantum many-body wave function, which relies on their common underlying tensorial structure. This facilitates the use of quantum entanglement measures as well-defined quantifiers of a deep network's expressive ability to model intricate correlation structures of its inputs. Most importantly, the construction of a deep ConvAC in terms of a Tensor Network is made available. This description enables us to carry a graph-theoretic analysis of a convolutional network, with which we demonstrate a direct control over the inductive bias of the deep network via its channel numbers, that are related to the min-cut in the underlying graph. This result is relevant to any practitioner designing a network for a specific task. We theoretically analyze ConvACs, and empirically validate our findings on more common ConvNets which involve ReLU activations and max pooling. Beyond the results described above, the description of a deep convolutional network in well-defined graph-theoretic tools and the formal connection to quantum entanglement, are two interdisciplinary bridges that are brought forth by this work.

研究の動機と目的

• アーキテクチャの選択が相関モデリングにどのように影響するかを分析することで、深層畳み込みネットワークの帰納的バイアスを理解すること。
• テンソルネットワーク表現を用いて、ConvACと量子多体波動関数の正式な構造的同等性を確立すること。
• 量子もつれの測度（例えば、もつれエントロピー、相互情報量）を、入力データの複雑な相関を表現する能力を定量化するツールとして用いること。
• グラフ理論的最小カット解析を通じて、各層のチャネル数がネットワークの表現力に直接的に影響することを示すこと。
• 特定のタスクに適した帰納的バイアスを有する深層ネットワークを、理論的根拠に基づいて設計するための原理的で整合性のある手法を提供すること。

提案手法

• 共通するテンソリアル構造を用いて、ConvACの関数を量子多体波動関数にマッピングすること。
• ネットワークの重みテンソルを階層的テンソル分解（HT）として表現することにより、テンソルネットワーク（TN）に相当すること。
• 量子もつれの測度（もつれエントロピー、相互情報量など）を、深層ネットワークにおける相関モデリングの形式的指標として用いること。
• 下位のテンソルネットワークグラフの最小カット解析を通じて、ネットワークの表現力の分析を行うこと。
• 各層のチャネル数と、TNグラフにおける最小カット値との直接的な対応関係を確立すること。この最小カット値が、複雑な相関をモデル化する能力を支配する。
• 標準的なReLUベースおよびマックスプーリング畳み込みネットワーク上で理論的予測の妥当性を実証的に検証し、ConvACの予測と整合していることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークのチャネル数が、入力データの複雑な相関をモデル化する能力にどのように影響するか？
• RQ2 量子もつれの測度は、深層ネットワークの表現力の形式的・定量的指標として機能できるか？
• RQ3 深層畳み込み算術回路と量子多体波動関数との構造的同等性は何か？
• RQ4 深層ネットワークのテンソルネットワーク表現のグラフ構造は、その帰納的バイアスと表現力にどのように関係するか？
• RQ5 テンソルネットワークグラフの最小カット解析は、特定の入力分割をモデル化する能力を予測できるか？

主な発見

• 深層ConvACが実現する関数は、量子多体波動関数と構造的に同等であり、これにより量子もつれの測度をネットワーク表現力の分析に形式的ツールとして用いることが可能になる。
• 量子もつれの測度（例えば、もつれエントロピー）は、入力データの複雑な相関構造をモデル化する能力を明確に定義された定量的指標として提供する。
• 各層のチャネル数は、下位のテンソルネットワークグラフにおける最小カット値を決定するため、ネットワークの帰納的バイアスを直接制御する。
• 階層的プーリング（例：2×2ウィンドウ）を用いた深層ConvACは、浅いネットワーク（例：CP分解）に比べて指数的表現力の優位性を示すことが、最小カット解析によって確認された。
• ConvACのテンソルネットワーク表現により、グラフ理論的解析が可能となり、アーキテクチャ設計（チャネル数）と表現力・相関モデリング能力の直接的な関連性を明確に結ぶことができる。
• ReLUおよびマックスプーリングネットワークにおける実証的検証により、ConvACおよびテンソルネットワークフレームワークから導かれた理論的予測が実際の状況でも成り立つことが確認された。