[論文レビュー] On the Expressive Power of Overlapping Architectures of Deep Learning

Or Sharir, Amnon Shashua|arXiv (Cornell University)|Mar 6, 2017

Ferroelectric and Negative Capacitance Devices被引用数 23

ひとこと要約

この論文は、深層学習における重複する畝込みアーキテクチャの表現力について調査し、畠込みフィルタのストライドがフィルターサイズより小さい「重複受容 field」が、表現力の指数的増加を可能にすることを示している。Convolutional Arithmetic Circuits (ConvACs) を理論的代替モデルとして用い、著者らは重複接続が行列化ランクの指数的増加をもたらすことを証明し、現代のアーキテクチャが完全結合層に依存せずに指数的表現力を達成していることを示している。

ABSTRACT

Expressive efficiency refers to the relation between two architectures A and B, whereby any function realized by B could be replicated by A, but there exists functions realized by A, which cannot be replicated by B unless its size grows significantly larger. For example, it is known that deep networks are exponentially efficient with respect to shallow networks, in the sense that a shallow network must grow exponentially large in order to approximate the functions represented by a deep network of polynomial size. In this work, we extend the study of expressive efficiency to the attribute of network connectivity and in particular to the effect of "overlaps" in the convolutional process, i.e., when the stride of the convolution is smaller than its filter size (receptive field). To theoretically analyze this aspect of network's design, we focus on a well-established surrogate for ConvNets called Convolutional Arithmetic Circuits (ConvACs), and then demonstrate empirically that our results hold for standard ConvNets as well. Specifically, our analysis shows that having overlapping local receptive fields, and more broadly denser connectivity, results in an exponential increase in the expressive capacity of neural networks. Moreover, while denser connectivity can increase the expressive capacity, we show that the most common types of modern architectures already exhibit exponential increase in expressivity, without relying on fully-connected layers.

研究の動機と目的

• アーキテクチャの接続性、特に重複畝込みが深層ニューラルネットワークの表現力に与える影響を理解すること。
• ストライドがフィルターサイズより小さい「重複受容 field」が、非重複設計と比較して表現力の指数的増加をもたらすかどうかを調査すること。
• 現代の畝込みアーキテクチャが、完全結合層に依存せずに重複接続性によって指数的表現力を達成しているかどうかを特定すること。
• Convolutional Arithmetic Circuits (ConvACs) を代替モデルとして用い、畝込みネットワークにおける表現的効率の理論的基盤を確立すること。
• 重複アーキテクチャが非重複アーキテクチャと比較して、サイズが同等であっても指数的に表現力が優れていることを示すこと。

提案手法

• 標準的な ConvNets の理論的代替モデルとして Convolutional Arithmetic Circuits (ConvACs) を用い、非線形活性化関数やプーリングを線形演算と積プーリングに置き換える。
• 誘導されたテンソルの行列化ランクを通じて表現力を分析し、高いランクはより高い表現能力を示す。
• 重複アーキテクチャにおいて、誘導されたネットワークテンソルの行列化ランクが、特徴マップの位置数に応じて指数的に増加することを証明する。
• 重みを「共有」および「非共有」の両設定で明示的なパラメータ割り当てを構築し、特徴マップインデックスの特定の偶数分割に対して指数的行列化ランクを達成する。
• 測度論的議論を適用して、指数的行列化ランクがリークスグ・測度に関してほとんど至る所で成立することを示し、孤立した例に限らないことを裏付ける。
• 理論的発見を実世界の ConvNets に拡張するため、実証的検証を実施し、ConvACs での結果が標準アーキテクチャへも適用可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 ストライドがフィルターサイズより小さい重複畝込み接続性が、非重複アーキテクチャと比較して表現力の指数的増加をもたらすか？
• RQ2 重複アーキテクチャは、完全結合層に依存せずに指数的表現的効率を達成できるか？
• RQ3 現代の畝込みアーキテクチャが、重複受容 field を通じて指数的表現力をどれほど活用しているか？
• RQ4 ConvACs（ConvNets の代替モデルとして用いられる）の表現力は、実際の ConvNet の挙動を十分に代表しているか？
• RQ5 誘導されたテンソルの行列化ランクは、重複 vs. 非重複アーキテクチャにおける表現的効率とどのように関係しているか？

主な発見

• 重複畝込みアーキテクチャは、密接な接続パターンのおかげで、行列化ランクによって測定される指数的表現力を持つ。
• 重複 ConvACs における誘導テンソルの行列化ランクは、$ M^{H^2/2} $ として増加する。ここで $ M $ はチャネル数、$ H $ は空間次元を表し、指数的表現力が示されている。
• 完全結合層が存在しない状況でも、この表現力の指数的増加が発生するため、重複接続性そのものが、深層ネットワークが複雑な関数を効率的に表現可能にする要因であると示唆される。
• この結果はパrameter空間のほとんど至る所で成立しており、稀で特殊に構築されたモデルに限定されないことが示された。
• 実証的検証により、ConvACs での理論的発見が標準 ConvNets へも適用可能であることが確認され、重複アーキテクチャが根本的に表現力が優れていることが裏付けられた。
• 本研究は、非重複アーキテクチャが実際には希な理由を説明している：重複設計はモデルサイズが多項式的増加にとどまる間、表現力を指数的に向上させる。