[論文レビュー] Entanglement Entropy of Target Functions for Image Classification and Convolutional Neural Network

Yahui Zhang|arXiv (Cornell University)|Oct 16, 2017

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、量子多体物理学におけるエンタングルメントエントロピーを、画像分類タスクの目的関数の情報複雑性を特徴付ける指標として用いることを提案する。これらの関数が部分体積則に従うエンタングルメントエントロピーの上限に従うことを示すことにより、多項式的パラメータ数を有する深層畳み込みニューラルネットワーク（CNN）が、このような関数を効率的に表現できることを説明し、深さに伴うスケーリングの有効性が幅よりも優れていることを導出する。

ABSTRACT

The success of deep convolutional neural network (CNN) in computer vision especially image classification problems requests a new information theory for function of image, instead of image itself. In this article, after establishing a deep mathematical connection between image classification problem and quantum spin model, we propose to use entanglement entropy, a generalization of classical Boltzmann-Shannon entropy, as a powerful tool to characterize the information needed for representation of general function of image. We prove that there is a sub-volume-law bound for entanglement entropy of target functions of reasonable image classification problems. Therefore target functions of image classification only occupy a small subspace of the whole Hilbert space. As a result, a neural network with polynomial number of parameters is efficient for representation of such target functions of image. The concept of entanglement entropy can also be useful to characterize the expressive power of different neural networks. For example, we show that to maintain the same expressive power, number of channels $D$ in a convolutional neural network should scale with the number of convolution layers $n_c$ as $D\sim D_0^{\frac{1}{n_c}}$. Therefore, deeper CNN with large $n_c$ is more efficient than shallow ones.

研究の動機と目的

• 画像分類の目的関数を特徴付けるための新しい情報理論的枠組みを構築し、画像の古典的エントロピーの枠を超えること。
• 画像関数のヒルベルト空間と量子スピン模型の間の数学的同型を確立し、量子情報理論の概念の適用を可能にすること。
• エンタングルメントエントロピーの上限を用いて、深層CNNが画像分類関数をどのように効率的に表現できるかを説明すること。
• エンタングルメントエントロピーの類似性を用いて、ネットワークの深さ $ n_c $、幅（チャネル数）$ D $、表現力の間のスケーリング関係を導出すること。

提案手法

• ピクセルをインデックスとするテンソル積空間として画像関数のヒルベルト空間を形式化し、エンタングルメントエントロピーの定義を可能にする。
• 画像関数と量子スピン波動関数の間の一対一対応を確立し、量子エンタングルメントの概念の適用を可能にする。
• 妥当な画像分類問題における目的関数が、部分体積則に従うエンタングルメントエントロピーの上限に従うことを証明し、これは全ヒルベルト空間の小さな部分空間を占めることを示唆する。
• 深層CNNを、マルチスケールエンタングルメント縮約アンザッツ（MERA）に類似させ、畳み込み層を非エンタングル化器、プーリングを粗大化処理とみなす。
• 表現力を維持するためのチャネル数 $ D $、深さ $ n_c $、エンタングルメントエントロピーの間のスケーリング関係 $ D \sim D_0^{1/n_c} $ を導出する。
• MERAの類似性を用いて、CNNのエンタングルメントエントロピーが $ S_{AB}/L_{AB} \sim n_c \log D $ とスケーリングすることを示し、ネットワークアーキテクチャと情報理論的容量の関連を結びつける。

実験結果

リサーチクエスチョン

• RQ1 エンタングルメントエントロピーは、画像分類の目的関数の情報複雑性を測る意味のある指標として機能できるか？
• RQ2 全関数空間の指数的サイズにかかわらず、多項式的パラメータ数を有する深層CNNが、全結合ネットワークよりも優れた性能を示すのはなぜか？
• RQ3 CNNにおけるネットワークの深さ $ n_c $、チャネル数 $ D $、表現力の間のスケーリング関係は何か？
• RQ4 画像特徴の局所性は、関数空間におけるエンタングルメントエントロピーの上限とどのように関連するか？
• RQ5 エンタングルメントエントロピーとMERAといった量子情報理論の概念は、深層学習アーキテクチャの設計と効率性に関する新たな知見を提供できるか？

主な発見

• 画像分類問題における目的関数は、部分体積則に従うエンタングルメントエントロピーを示し、これは全ヒルベルト空間の小さな部分空間を占めることを示唆する。
• このような目的関数のエンタングルメントエントロピーは $ S_{AB} \sim rL_{AB} $ で上限づけられ、$ r $ は定数であり、多項式的パラメータ数による効率的表現可能性を示唆する。
• 深さ $ n_c $ の畳み込み層と $ D $ チャネルを有する深層CNNは、表現力を $ S_{AB}/L_{AB} \sim n_c \log D $ でスケーリングし、目的関数のエンタングルメントエントロピーと一致する。
• 同等の表現力を維持するためには、チャネル数は $ D \sim D_0^{1/n_c} $ とスケーリングする必要があり、深さを増す方が幅を増やすよりも効率的であることを示す。
• MERAとの類似性から、畳み込み層が非エンタングル化器、プーリング層が粗大化ステップとして機能することが示され、階層的特徴学習の成功が説明できる。
• 結果として、画像分類タスクにおいて、深く細いCNNが広く浅いCNNよりも優れた実験的成果を示す理論的基盤が提供される。