[論文レビュー] Inductive Bias of Deep Convolutional Networks through Pooling Geometry

Nadav Cohen, Amnon Shashua|arXiv (Cornell University)|May 22, 2016

Advanced Neural Network Applications参考文献 17被引用数 44

ひとこと要約

この論文は、プーリングの幾何構造を通じて深層畳み込みニューラルネットワークの帰納的バイアスを同定し、連続するプーリング窓が入力の入れ違い分割を好むことにより、自然画像における強い相関をモデル化するための指数的高さの分離ランクを実現することを示している。主な貢献は、プーリングの幾何構造がネットワークの意味のある空間的相関を捉える能力をどのように形作るかを形式化することであり、標準的なアーキテクチャが視覚タスクにうまく一般化する理由を説明している。

ABSTRACT

Our formal understanding of the inductive bias that drives the success of convolutional networks on computer vision tasks is limited. In particular, it is unclear what makes hypotheses spaces born from convolution and pooling operations so suitable for natural images. In this paper we study the ability of convolutional networks to model correlations among regions of their input. We theoretically analyze convolutional arithmetic circuits, and empirically validate our findings on other types of convolutional networks as well. Correlations are formalized through the notion of separation rank, which for a given partition of the input, measures how far a function is from being separable. We show that a polynomially sized deep network supports exponentially high separation ranks for certain input partitions, while being limited to polynomial separation ranks for others. The network's pooling geometry effectively determines which input partitions are favored, thus serves as a means for controlling the inductive bias. Contiguous pooling windows as commonly employed in practice favor interleaved partitions over coarse ones, orienting the inductive bias towards the statistics of natural images. Other pooling schemes lead to different preferences, and this allows tailoring the network to data that departs from the usual domain of natural imagery. In addition to analyzing deep networks, we show that shallow ones support only linear separation ranks, and by this gain insight into the benefit of functions brought forth by depth - they are able to efficiently model strong correlation under favored partitions of the input.

研究の動機と目的

• 深層畳み込みネットワークの帰納的バイアスに関する理論的理解が限定的であるにもかかわらず、自然画像タスクでなぜそれほどうまく一般化するのかを理解すること。
• 深層ネットワークにおけるプーリング幾何構造が、入力データの空間的領域間の相関をモデル化する能力に与える影響を分析すること。
• 入力分割における相関強度の尺度として分離ランクを用いて、畳み込みネットワークの帰納的バイアスを形式化すること。
• プーリング幾何構造のおかげで、特定の分割（特に入れ違いのもの）において深層ネットワークが指数的高さの分離ランクを達成できることを示すこと。
• 深層ネットワークと浅層ネットワークを対比し、深さが有利な入力分割のもとで強い相関を効率的にモデル化できることを示すこと。

提案手法

• 不連続な入力分割間の相関を形式的に測る指標として分離ランクを用い、関数が分離的からどれほど離れているかを定量化する。
• 線形活性化関数と積プーリングを備えた畳み込み算術回路を分析し、分離ランクに関する理論的上限を導出する。
• 深層ネットワークが入れ違いの分割（例：交互に配置された空間的領域）に対して指数的高さの分離ランクを達成できることを証明するが、粗い分割に対しては多項式的または線形的ランクに制限されることを示す。
• 連続するプーリング窓（実際の応用で一般的）が自然に入れ違いの分割を好むことから、帰納的バイアスが自然画像の統計的構造と一致することを示す。
• 分離ランクの上限を、分離関数からの正規化L²距離に翻訳することで、相関モデリングの代替的で解釈性の高い指標を提供する。
• 畳み込み算術回路およびReLUベースのネットワーク（マックス/平均プーリングを含む）に対して、実験的に結果を検証し、プーリング幾何構造が帰納的バイアスを形作る役割を確認する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークにおけるプーリング幾何構造は、入力画像の空間的領域間の相関をモデル化する能力にどのように影響するか？
• RQ2 連続するプーリング窓を備えた標準的な畳み込みネットワークは、理論的理解が限定的であるにもかかわらず、なぜ自然画像でうまく一般化するのか？
• RQ3 ネットワークの深さ、プーリング構造、および学習関数の分離ランクとの関係は何か？
• RQ4 深層ネットワークの帰納的バイアスは、空間的相関をモデル化する点で浅層ネットワークとどのように異なるか？
• RQ5 プーリング幾何構造を、自然画像とは異なるデータ分布に適合させるために利用できるか？

主な発見

• 連続するプーリング窓を備えた深層畳み込みネットワークは、入れ違いの入力分割に対して指数的高さの分離ランクを達成し、強い空間的相関を効率的にモデル化できる。
• 浅層ネットワークは線形の分離ランクに制限され、深さが複雑な相関を効率的に表現するために不可欠であることを示している。
• プーリング幾何構造がどの入力分割を好むかを決定する。連続するプーリングは入れ違いの分割を好むため、自然画像の統計的構造と一致する。
• 畳み込み算術回路は、重み設定の零測度集合（例外を除き）で最大の分離ランクを達成するため、帰納的バイアスの強さが頑健であることが示された。
• 実験的結果により、理論的な分離ランクの挙動が、マックスまたは平均プーリングを備えたReLUベースのネットワークに対しても実際の状況で成立することが確認された。
• 分離関数からの正規化L²距離は分離ランクと同等の指標であるが、仮説空間全体におけるその分布は複雑で、自明でない。