[논문 리뷰] What are the Receptive, Effective Receptive, and Projective Fields of Neurons in Convolutional Neural Networks?

Hung Le, Ali Borji|arXiv (Cornell University)|2017. 05. 19.

CCD and CMOS Imaging Sensors참고 문헌 1인용 수 43

한 줄 요약

이 논문은 합성곱 신경망(CNN) 내에서 수용장역할(RF), 효과적 수용장역할(ERF), 그리고 투영장역할(PF)을 계산하기 위한 종합적인 프레임워크를 제공한다. 필터 크기와 스트라이드를 고려하여 ERF 크기를 계산하기 위해 하향식 및 상향식 방법을 도입하며, ERF가 계층적으로 증가함을 보여주고, PF는 뉴런이 하류 특징에 미치는 영향을 정량화하며 스트라이드와 필터 크기에 따라 변동됨을 밝힌다. 주요 기여는 CNN 내에서 공간적 영향 영역을 정확하게 결정할 수 있는 통합 분석 방법을 제시한 것으로, 아키텍처 설계 및 해석 가능성 향상에 기여한다.

ABSTRACT

In this work, we explain in detail how receptive fields, effective receptive fields, and projective fields of neurons in different layers, convolution or pooling, of a Convolutional Neural Network (CNN) are calculated. While our focus here is on CNNs, the same operations, but in the reverse order, can be used to calculate these quantities for deconvolutional neural networks. These are important concepts, not only for better understanding and analyzing convolutional and deconvolutional networks, but also for optimizing their performance in real-world applications.

연구 동기 및 목표

• CNN 내에서 수용장역할(RF), 효과적 수용장역할(ERF), 투영장역할(PF)의 정의를 명확히 하고 공식화하여 문헌에서 흔히 발생하는 혼동을 해결한다.
• 하향식 및 상향식 접근을 통해 계층적 레이어 간의 ERF 크기를 체계적으로 계산할 수 있는 방법을 제공한다.
• 필터 크기, 스트라이드, 레이어별 연산을 고려한 ERF 및 PF에 대한 명시적 공식을 유도하여 특징 영향 분석을 정밀하게 가능하게 한다.
• ERF 및 PF가 특징 맵 전반에 걸쳐 균일하지 않으며, 공간적 위치와 네트워크 하이퍼파라미터에 따라 달라짐을 보여준다.
• 계층 구조를 반전시켜 계산 경로를 뒤집음으로써 디컨volution 네트워크로 프레임워크를 확장하여 특징 재구성 분석이 가능하도록 한다.

제안 방법

• 필터 크기 $ f_k $ 와 스트라이드 $ s_i $ 를 사용하여 겹치지 않는 영역을 누적함으로써 상향식 접근을 통해 ERF를 계산하는 공식 $ R_k = R_{k-1} + (f_k - 1) \prod_{i=1}^{k-1} s_i $ 을 제안한다.
• 고차원 레이어에서 저차원 레이어로의 영향 추적을 가능하게 하기 위해 재귀 공식 $ R_{k,j} = (R_{k,j+1} - 1)s_{j+1} + f_{j+1} $ 을 사용하는 하향식 접근을 도입한다.
• 다음 레이어의 필터 크기 $ f_{k+1} $ 와 스트라이드 $ s_{k+1} $ 를 기반으로 투영장역할(PF) 크기를 유도하며, 바닥면 및 천장 연산에 따라 네 가지 가능한 PF 크기를 고려한다.
• 특징 맵 내 위치에 따라 변동하는 PF 크기를 모델링하기 위해 표현식 $ P_k = \left\{ \left\lfloor \frac{f_{k+1}}{s_{k+1}} \right\rfloor \times \left\lfloor \frac{f_{k+1}}{s_{k+1}} \right\rfloor, \dots, \left\lceil \frac{f_{k+1}}{s_{k+1}} \right\rceil \times \left\lceil \frac{f_{k+1}}{s_{k+1}} \right\rceil \right\} $ 을 사용한다.
• 1D 및 2D 시각화를 통해 ERF 및 PF 계산을 검증하며, 슬라이딩 필터 시뮬레이션과 레이어 간 공간 매핑을 포함한다.
• ERF 계산 경로를 뒤집음으로써 디컨볼루션 네트워크로 프레임워크를 확장하여 생성 모델 내 특징 재구성 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 필터 크기와 스트라이드를 고려하여 다수의 레이어에 걸쳐 CNN 내 뉴런의 효과적 수용장역할(ERF)을 정확하게 계산하는 방법은 무엇인가?
• RQ2 수용장역할(RF), 효과적 수용장역할(ERF), 투영장역할(PF)의 차이점은 무엇이며, 실무에서 이들이 자주 혼동되는 이유는 무엇인가?
• RQ3 스트라이드가 1을 초과할 경우, 특징 맵 내 위치에 따라 투영장역할(PF)의 분포와 크기가 어떻게 영향을 받는가?
• RQ4 CNN에 사용된 동일한 수학적 프레임워크를 디컨볼루션 네트워크에 적용하여 특징 재구성 분석을 수행할 수 있는가?
• RQ5 투영장역할 크기의 공간적 이질성이 실세계 응용에서 모델의 행동이나 성능에 미치는 영향은 어느 정도인가?

주요 결과

• CNN 내 뉴런의 효과적 수용장역할(ERF)은 단순히 필터 크기만으로 정의되지 않으며, 누적된 스트라이드와 필터 크기에 따라 계층적으로 증가한다. 상향식 공식 $ R_k = R_{k-1} + (f_k - 1) \prod_{i=1}^{k-1} s_i $ 은 정확한 크기 추정을 가능하게 한다.
• 하향식 접근을 통해 $ R_{k,j} = (R_{k,j+1} - 1)s_{j+1} + f_{j+1} $ 를 사용하면 고차원 레이어에서 저차원 레이어로의 영향 추적을 효율적으로 수행할 수 있으며, 이는 ERF 신속 추정에 기여한다.
• 특징 맵 내에서 투영장역할(PF)은 공간적으로 변동한다: $ 5\times5 $ 필터와 스트라이드 2일 경우 중심 뉴런은 $ 3\times3 $ PF를 가지며, 가장자리 뉴런은 $ 3\times2 $ 또는 $ 2\times3 $, 모서리 뉴런은 $ 2\times2 $ 의 PF 크기를 가진다.
• 만약 $ f_{k+1}/s_{k+1} $ 가 정수가 아닐 경우 PF 크기는 균일하지 않으며, 네 가지의 서로 다른 PF 크기 구성이 발생한다. 이는 특징 영향의 공간적 변동성을 설명한다.
• 디컨볼루션 네트워크에서는 뉴런의 ERF가 해당하는 CNN 내 PF에 해당하므로, 특징 생성 과정의 역분석이 가능하다.
• 이 논문은 ERF와 PF가 본질적으로 다르다는 점을 입증한다: ERF는 입력 영역의 영향을 측정하지만, PF는 출력 뉴런의 영향을 측정하며, 둘 다 모델의 해석 가능성과 아키텍처 설계에 핵심적이다.