[논문 리뷰] Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

Wenjie Luo, Yujia Li외 2명|arXiv (Cornell University)|2017. 01. 15.

Neural Networks and Reservoir Computing인용 수 805

한 줄 요약

본 논문은 효과적 수용 영역(ERF)을 제시하고, 그 분포가 가우시안이며 이론적 수용 영역의 일부에 불과하다는 점을 보여주며; 아키텍처, 비선형성, 드롭아웃, 하위샘플링, 스킵 연결이 ERF에 미치는 영향을 분석하고 ERF를 확장하는 방법을 제시한다.

ABSTRACT

We study characteristics of receptive fields of units in deep convolutional networks. The receptive field size is a crucial issue in many visual tasks, as the output must respond to large enough areas in the image to capture information about large objects. We introduce the notion of an effective receptive field, and show that it both has a Gaussian distribution and only occupies a fraction of the full theoretical receptive field. We analyze the effective receptive field in several architecture designs, and the effect of nonlinear activations, dropout, sub-sampling and skip connections on it. This leads to suggestions for ways to address its tendency to be too small.

연구 동기 및 목표

• 깊은 CNN의 수용 영역 연구를 많은 출력 단위가 필요한 작업(예: 의미론 분할)에 대해 동기 부여한다.
• 중심 출력 단위에 비 negligible한 영향을 주는 입력 영역으로 ERF를 정의하고 정량화한다.
• ERF가 수용 영역 내에서 어떻게 분포하는지, 그리고 아키텍처와 학습이 ERF에 어떤 영향을 주는지 특징짓는다.
• 초기화 및 아키텍처 설계를 통해 ERF의 크기를 증가시키는 전략을 제안한다.

제안 방법

• ERF를 부분 도함수 ∂y0,0/∂x0,i,j로 정의하고 출력 중심의 단위에서 역전파(back-propagation)로 계산한다.
• 선형 CNN을 분석해 입력 영향력의 가우시안 유사 분포를 보이고, 임의의 가중치와 비균일 커널로 확장한다.
• 비선형 활성화 및 학습 역학을 포함해 ERF에 대한 영향을 연구한다.
• 드롭아웃, 하위샘플링, 확장(convolution)을 통한 ERF의 영향을 평가한다.
• 스킵 연결이 ERF를 축소시키는 경향을 보이고 이를 실험적으로 검증한다.
• ERF를 증가시키기 위한 초기화 및 아키텍처 조정을 제안한다.

실험 결과

연구 질문

• RQ1 수용 영역 내 입력 픽셀의 출력 단위에 대한 영향력 분포(E RF 분포)는 어떻게 되는가?
• RQ2 네트워크 깊이, 커널 크기, 가중치 초기화가 ERF에 어떤 영향을 미치는가?
• RQ3 비선형성, 드롭아웃, 하위샘플링, 확장된 컨볼루션이 ERF에 미치는 영향은 무엇인가?
• RQ4 훈련 중 스킵 연결과 같은 아키텍처 선택이 ERF에 어떤 영향을 주는가?
• RQ5 ERF를 확장해 큰 규모의 정보를 더 잘 포착하도록 하는 실용적 전략은 무엇인가?

주요 결과

• 수용 영역 내 입력 영향력의 분포는 많은 설정에서 가우시안인 경향이 있다.
• ERF는 일반적으로 이론적 수용 영역의 일부만을 차지하고 깊이가 증가함에 따라 √n의 함수로 커지며 선형적으로 증가하지 않는다.
• 균일하거나 무작위 가중치를 사용하고 비선형성이 없으면 ERF는 가우시안이고, 비선형성(ReLU 등)은 ERF를 더 변동하게 만들지만 실질적으로는 여전히 대략 가우시안이다.
• 드롭아웃은 ERF의 가우시안 형태를 바꾸지 않으며, 하위샘플링과 확장된 합성에 의해 ERF 크기가 크게 증가할 수 있다; 스킵 연결은 ERF를 축소시키는 경향이 있다.
• 훈련 중 ERF는 확장될 수 있으며, 분류 및 의미론적 분할 모델에서 ERF는 초기 작은 크기에서 학습 끝에 더 크게 성장한다.
• 간단한 제안 방법으로는 초기화를 변경해 중심 강조를 주변으로 확산시키면 ERF가 부분적으로 증가하지만, 확장(dilation)과 같은 아키텍처적 변화가 더 효과적일 수 있다.