[論文レビュー] What are the Receptive, Effective Receptive, and Projective Fields of Neurons in Convolutional Neural Networks?

Hung Le, Ali Borji|arXiv (Cornell University)|May 19, 2017

CCD and CMOS Imaging Sensors参考文献 1被引用数 43

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）における受容 field（RF）、効果的受容 field（ERF）、および射影 field（PF）を計算する包括的なフレームワークを提供する。フィルターサイズとストライドを用いて、ERF のサイズを計算するためのボトムアップおよびトップダウンの両方の手法を導入し、ERF が階層的に層を通過するごとに拡大することを示している。一方、PF はニューロンが下流の特徴に与える影響を定量化するもので、ストライドとフィルターサイズに依存して変化する。主な貢献は、CNN における空間的影響領域を正確に特定する統一的で分析的な手法の確立であり、これによりアーキテクチャ設計と解釈可能性の向上が可能になる。

ABSTRACT

In this work, we explain in detail how receptive fields, effective receptive fields, and projective fields of neurons in different layers, convolution or pooling, of a Convolutional Neural Network (CNN) are calculated. While our focus here is on CNNs, the same operations, but in the reverse order, can be used to calculate these quantities for deconvolutional neural networks. These are important concepts, not only for better understanding and analyzing convolutional and deconvolutional networks, but also for optimizing their performance in real-world applications.

研究の動機と目的

• CNN における受容 field（RF）、効果的受容 field（ERF）、および射影 field（PF）の定義を明確にし、文脈で一般的に混乱をきたす要因を解消すること。
• ボトムアップおよびトップダウンの両アプローチを用いて、階層的なレイヤー間で ERF サイズを体系的に計算する手法を提供すること。
• フィルターサイズ、ストライド、およびレイヤー固有の演算を考慮した ERF および PF の明示的方程式を導出することにより、特徴の影響を正確に分析可能にする。
• ERF および PF が特徴マップ全体で一様ではなく、空間的位置とネットワークのハイパーパramータに依存することを示すこと。
• 計算順序を逆転させることで、デコンボリューションネットワークへのフレームワークの拡張を図り、特徴再構成の分析を可能にすること。

提案手法

• フィルターサイズ $ f_k $ とストライド $ s_i $ を用いた式 $ R_k = R_{k-1} + (f_k - 1) \prod_{i=1}^{k-1} s_i $ を用いて、非重複領域を累積することで、ボトムアップ方式で ERF を計算する。
• 上流から下流への影響を逆方向に追跡可能にする再帰的式 $ R_{k,j} = (R_{k,j+1} - 1)s_{j+1} + f_{j+1} $ を用いたトップダウン方式を導入する。
• 次のレイヤーのフィルターサイズ $ f_{k+1} $ とストライド $ s_{k+1} $ を関数として、射影 field（PF）のサイズを導出する。四つの可能な PF サイズ（床関数および天井関数の組み合わせ）を考慮する。
• 空間的位置に応じて変動する PF サイズをモデル化するため、$ P_k = \left\{ \left\lfloor \frac{f_{k+1}}{s_{k+1}} \right\rfloor \times \left\lfloor \frac{f_{k+1}}{s_{k+1}} \right\rfloor, \dots, \left\lceil \frac{f_{k+1}}{s_{k+1}} \right\rceil \times \left\lceil \frac{f_{k+1}}{s_{k+1}} \right\rceil \right\} $ の表現を用いる。
• 1次元および2次元の可視化（スライディングフィルタのシミュレーションやレイヤー間の空間マッピングを含む）を通じて、ERF および PF の計算を検証する。
• 計算パスを逆転させることで、デコンボリューションネットワークへのフレームワークの拡張を図り、生成モデルにおける PF 分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 フィルターサイズとストライドを考慮した場合、CNN のニューロンにおける効果的受容 field（ERF）は、複数のレイヤーに跨ってどのように正確に計算できるか？
• RQ2 受容 field（RF）、効果的受容 field（ERF）、および射影 field（PF）の違いは何か？ なぜ実務ではこれらがしばしば混同されるのか？
• RQ3 ストライドが 1 より大きい場合、特徴マップの各位置における射影 field（PF）の分布とサイズにどのような影響が生じるか？
• RQ4 CNN に用いられる同じ数学的フレームワークを、特徴再構成の分析を目的としたデコンボリューションネットワークへ適応可能か？
• RQ5 射影 field サイズの空間的非一様性が、実世界の応用におけるモデルの挙動や性能に及ぼす影響の程度はどの程度か？

主な発見

• CNN のニューロンにおける効果的受容 field（ERF）は、単にフィルターサイズに等しいわけではない。累積的なストライドとフィルターサイズに応じて階層的に拡大し、ボトムアップ式 $ R_k = R_{k-1} + (f_k - 1) \prod_{i=1}^{k-1} s_i $ により正確なサイズ推定が可能である。
• トップダウン方式による式 $ R_{k,j} = (R_{k,j+1} - 1)s_{j+1} + f_{j+1} $ を用いることで、上流から下流への影響を効率的に逆方向に追跡でき、迅速な ERF 評価が可能になる。
• 射影 field（PF）は特徴マップ内での空間的位置に応じて変動する。$ 5\times5 $ フィルタでストライド 2 の場合、中心部のニューロンは $ 3\times3 $ の PF を持ち、エッジ部は $ 3\times2 $ または $ 2\times3 $、コーナー部は $ 2\times2 $ となる。
• $ f_{k+1}/s_{k+1} $ が整数でない場合、PF サイズは一様ではなく、四つの異なる配置が生じる。これは、特徴への影響の空間的変動を説明する。
• デコンボリューションネットワークでは、ニューロンの ERF が対応する CNN における PF に相当するため、特徴生成の逆解析が可能になる。
• 本研究では、ERF と PF が本質的に異なることを示している。ERF は入力領域の影響を測るのに対し、PF は出力ニューロンへの影響を測るものであり、両者とも解釈可能性およびアーキテクチャ設計において不可欠である。