[論文レビュー] On the Expressive Power of Overlapping Operations of Deep Networks.

Or Sharir, Amnon Shashua|arXiv (Cornell University)|Mar 6, 2017

Ferroelectric and Negative Capacitance Devices被引用数 3

ひとこと要約

この論文は、畳み込みのストライドがフィルターサイズより小さい「重複畳み込み」が、深層ニューラルネットワークの表現力にどのように寄与するかを調査している。畳み込み算術回路（ConvACs）を理論的モデルとして用い、重複処理が表現能力を指数関数的に向上させることを示しており、完全結合層に依存せずに、現代のアーキテクチャが浅いモデルよりも本質的に強力であることを明らかにしている。

ABSTRACT

Expressive efficiency refers to the relation between two architectures A and B, whereby any function realized by B could be replicated by A, but there exists functions realized by A, which cannot be replicated by B unless its size grows significantly larger. For example, it is known that deep networks are exponentially efficient with respect to shallow networks, in the sense that a shallow network must grow exponentially large in order to approximate the functions represented by a deep network of polynomial size. In this work, we extend the study of expressive efficiency to the attribute of network connectivity and in particular to the effect of overlaps in the convolutional process, i.e., when the stride of the convolution is smaller than its filter size (receptive field). To theoretically analyze this aspect of network's design, we focus on a well-established surrogate for ConvNets called Convolutional Arithmetic Circuits (ConvACs), and then demonstrate empirically that our results hold for standard ConvNets as well. Specifically, our analysis shows that having overlapping local receptive fields, and more broadly denser connectivity, results in an exponential increase in the expressive capacity of neural networks. Moreover, while denser connectivity can increase the expressive capacity, we show that the most common types of modern architectures already exhibit exponential increase in expressivity, without relying on fully-connected layers.

研究の動機と目的

• 重複畳み込みが深層ネットワークの表現効率に与える影響を理解すること。
• 密な接続性がニューラルアーキテクチャの表現能力をどのように向上させるかを分析すること。
• 現代の畳み込みアーキテクチャが完全結合層に依存せずに指数的表現利得を達成できるかどうかを特定すること。

提案手法

• 本研究は、表現効率を分析するための理論的代理として、標準的なConvNetsの代替として畳み込み算術回路（ConvACs）を用いる。
• 表現効率を、あるアーキテクチャが表現可能な関数を表現するために必要なネットワークのサイズの観点から形式化する。
• 局所的受容 field の重複（ストライド < フィルターサイズ）が表現能力に与える影響に焦点を当てる。
• 理論的導出により、重複畳み込みが表現可能な関数の数を指数関数的に増加させることを示している。
• 実験的妥当性の確認として、標準的なConvNetsを用いて理論的発見が実際の状況でも成り立つかを検証する。
• 異なる接続度を持つアーキテクチャを比較することで、重複が表現力に与える影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 重複畳み込み処理は、深層ネットワークの表現能力にどのように影響するか？
• RQ2 重複受容 field によるより密な接続性は、表現力の向上にどの程度寄与するか？
• RQ3 現代の畳み込みアーキテクチャは完全結合層に依存せずに指数的表現効率を達成できるか？
• RQ4 重複畳み込みの表現優位性は数学的に定量可能であり、標準的なConvNetsへも一般化可能か？

主な発見

• 重複畳み込みは、非重複対象と比較して、ニューラルネットワークの表現能力を指数関数的に向上させる。
• 重複受容 field を通じたより密な接続性により、表現可能な関数の数が顕著に増加する。
• ConvACsを用いた理論的分析により、重複処理が指数的表現効率をもたらすことが示された。
• 現代の畳み込みアーキテクチャは、完全結合層がなくても、すでに指数的表現利得を示している。
• 実験的結果により、ConvACsに関する理論的発見が、標準的なConvNetsへ一般化されることを確認した。