[論文レビュー] Deep Learning and Quantum Physics : A Fundamental Bridge

Yoav Levine, David Yakira+2 more|arXiv (Cornell University)|Apr 5, 2017

Quantum Computing Algorithms and Architecture被引用数 1

ひとこと要約

この論文は、共通するテンソルネットワーク構造を通じて、深層畳み込み算術回路（ConvAC）と量子多体波動関数の根本的な同等性を確立し、量子もつれの測度を用いてネットワークの表現能力を定量化することを可能にする。各層のチャネル数がグラフ理論的最小カット解析を通じて帰納的バイアスを直接制御することを示しており、深層ネットワークの原理的設計フレームワークを提供する。

ABSTRACT

Deep convolutional networks have witnessed unprecedented success in various machine learning applications. Formal understanding on what makes these networks so successful is gradually unfolding, but for the most part there are still significant mysteries to unravel. The inductive bias, which reflects prior knowledge embedded in the network architecture, is one of them. In this work, we establish a fundamental connection between the fields of quantum physics and deep learning. We use this connection for asserting novel theoretical observations regarding the role that the number of channels in each layer of the convolutional network fulfills in the overall inductive bias. Specifically, we show an equivalence between the function realized by a deep convolutional arithmetic circuit (ConvAC) and a quantum many-body wave function, which relies on their common underlying tensorial structure. This facilitates the use of quantum entanglement measures as well-defined quantifiers of a deep network's expressive ability to model intricate correlation structures of its inputs. Most importantly, the construction of a deep ConvAC in terms of a Tensor Network is made available. This description enables us to carry a graph-theoretic analysis of a convolutional network, with which we demonstrate a direct control over the inductive bias of the deep network via its channel numbers, that are related to the min-cut in the underlying graph. This result is relevant to any practitioner designing a network for a specific task. We theoretically analyze ConvACs, and empirically validate our findings on more common ConvNets which involve ReLU activations and max pooling. Beyond the results described above, the description of a deep convolutional network in well-defined graph-theoretic tools and the formal connection to quantum entanglement, are two interdisciplinary bridges that are brought forth by this work.

研究の動機と目的

• 深層畳み込みネットワークにおける帰納的バイアスの理論的基盤を解明すること。
• テンソルネットワーク表現を通じて、深層学習と量子多体物理学の間の正式な関係を確立すること。
• 畳み込み層のチャネル数がグラフ理論的最小カット解析を通じて帰納的バイアスを支配することを示すこと。
• 表現能力と相関モデリングに基づいて、原理的かつ定量的な方法で深層ネットワークを設計するためのフレームワークを提供すること。

提案手法

• 深層ConvACをテンソルネットワークとして形式化し、量子波動関数と共通する数学的構造を活用すること。
• 量子もつれ測度（例えば、もつれエントロピー）を用いて、ネットワークの複雑な入力相関をモデル化する能力の定量化を行うこと。
• ネットワークアーキテクチャをグラフとして表現し、その最小カット構造を分析することで、チャネル数と帰納的バイアスの関連を明らかにすること。
• グラフ理論的ツールを適用して、チャネル数がネットワークの表現能力を直接制御することを示すこと。
• ReLUおよびマックスプーリングを用いた標準的なConvNetsにおいて理論的発見を実証的に検証すること。
• テンソルネットワークフレームワークを活用し、深層学習アーキテクチャ設計を量子にインspiredな形式的枠組みと統合すること。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークの各層におけるチャネル数が、その帰納的バイアスにどのように影響するか？
• RQ2 深層ConvACと量子多体波動関数の間の正式な数学的同等性は何か？
• RQ3 量子もつれ測度は、深層ネットワークの表現能力を意味的に定量化するのに適しているか？
• RQ4 深層ネットワークのグラフ構造は、複雑な入力相関をモデル化する能力とどのように関連するか？
• RQ5 ネットワークのテンソルネットワークグラフの最小カット解析が、帰納的バイアスをどの程度正確に予測できるか？

主な発見

• 共通するテンソルネットワーク構造のおかげで、深層ConvACは数学的に量子多体波動関数と同等である。
• もつれエントロピーなどの量子もつれ測度は、ネットワークの入力相関をモデル化する表現能力を明確に定量化する。
• 各層のチャネル数は、その下位のグラフ構造における最小カットとの関係を通じて、ネットワークの帰納的バイアスを直接制御する。
• テンソルネットワーク表現により、グラフ理論的解析が可能となり、アーキテクチャ設計と表現能力を結びつけることができる。
• 実証的検証により、ReLUおよびマックスプーリングを用いた標準的なConvNetsにおいて理論的予測が確認され、提案されたフレームワークと整合的であることが示された。
• 深層学習と量子物理学の間の正式な関係は、深層ネットワークの理解と設計のための新しい学際的視点を提供する。