[論文レビュー] Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

Wenjie Luo, Yujia Li+2 more|arXiv (Cornell University)|Jan 15, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用数 823

ひとこと要約

本論文は深層CNNにおける effective receptive field (ERF) を定義し、分析し、ERF がガウス分布に従い理論的受容野の一部を占めることを示すとともに、アーキテクチャと訓練が ERF に与える影響を検討し、ERF を拡大する戦略を提案している。

ABSTRACT

We study characteristics of receptive fields of units in deep convolutional networks. The receptive field size is a crucial issue in many visual tasks, as the output must respond to large enough areas in the image to capture information about large objects. We introduce the notion of an effective receptive field, and show that it both has a Gaussian distribution and only occupies a fraction of the full theoretical receptive field. We analyze the effective receptive field in several architecture designs, and the effect of nonlinear activations, dropout, sub-sampling and skip connections on it. This leads to suggestions for ways to address its tendency to be too small.

研究の動機と目的

• Motivate the study of receptive fields in deep CNNs and their role in dense prediction tasks.
• Define and quantify the effective receptive field (ERF) and its Gaussian distribution.
• Analyze how network design choices (depth, kernel size, pooling, skip connections) and training factors affect ERF.
• Suggest practical approaches to increase ERF, including initialization schemes and architectural changes.]
• method:[

提案手法

• ERF を中心出力単位に非無視可能な影響を与える入力ピクセル領域として定義する。 gradient ∂y0,0/∂x0,i,j によって測定される。
• 線形ネットワークを分析して、勾配がどのように伝播し、層を越えてガウス様分布を形成するかを示す。
• 非線形活性化、ドロップアウト、サブサンプリング、膨張、スキップ接続を通じた分散伝播と関連近似を用いて分析を非線形化する。
• 訓練中に人工的に構築した CNN と実モデルの勾配をバックプロパゲーションすることにより、ERF を経験的に評価する。
• ERF を広げるために中心部の重みを減らし周辺の重みを増やす新しい重み初期化を提案し、膨張結合や疎結合といったアーキテクチャの選択肢を検討する。

実験結果

リサーチクエスチョン

• RQ1 深い CNN における ERF の形状と範囲はどの程度で、理論的受容野とどのように関係するのか？
• RQ2 アーキテクチャの選択と訓練実践は ERF にどのような影響を与え、効果的に拡大する方法を設計できるか？
• RQ3 ERF は訓練中に成長するのか、非線形性、ドロップアウト、サブサンプリング、スキップ接続はそれにどう影響するのか？
• RQ4 初期化やアーキテクチャの変更は ERF の分布をより大きな画像領域からの情報を捉えるようにシフトできるか？

主な発見

• ERF はガウス分布を示し、理論的受容野の一部を占める。
• ERF の大きさは層数の平方根とおおよそ比例し、RF が占める割合は 1/√n として減少するため、ネットワークが深くなるにつれて ERF は RF に対して相対的に縮小する。
• サブサンプリングと拡張畳み込みは ERF のサイズを増加させる一方、スキップ接続はそれを低下させる傾向がある。
• 非線形活性化は概ね ERF をガウス的に保つが、ReLU などの影響で ERF が理想的なガウス分布から外れる場合がある。
• 訓練中、ERF は分類ネットワークとセグメンテーションネットワークの両方で大幅に成長することがあり、理論的 RF が大きい場合でも顕著である。