[논문 리뷰] A guide to convolution arithmetic for deep learning

Vincent Dumoulin, Francesco Visin|arXiv (Cornell University)|2016. 03. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 1,223

한 줄 요약

입력 크기, 커널 크기, 패딩, 스트라이드, 그리고 출력 크기에 대한 관계를 설명하는 상세한 가이드로, 컨볼루션, 풀링, 및 전치 컨볼루션 계층의 관계를 포함하며, 확장형(dilated) 컨볼루션과 그것의 산술에 대한 실용적 직관을 제공합니다.

ABSTRACT

We introduce a guide to help deep learning practitioners understand and manipulate convolutional neural network architectures. The guide clarifies the relationship between various properties (input shape, kernel shape, zero padding, strides and output shape) of convolutional, pooling and transposed convolutional layers, as well as the relationship between convolutional and transposed convolutional layers. Relationships are derived for various cases, and are illustrated in order to make them intuitive.

연구 동기 및 목표

• 입력 형태, 커널 형태, 패딩, 그리고 스트라이드가 합성, 풀링, 및 전치 컨볼루션 계층의 출력 형태를 어떻게 결정하는지 설명한다.
• 1D/2D/ND 컨볼루션과 풀링에 대한 직관적이고 프레임워크에 구애받지 않는 관계를 제공한다.
• 컨볼루션 연산과 전치 컨볼루션 연산 간의 연결 및 그것의 실용적 시사점을 명확히 한다.
• 확장(dilated, atrous) 컨볼루션에 대한 가이드와 수용 영역 및 출력 크기에 대한 영향을 제시한다.

제안 방법

• 합성에서 i, k, s, p를 출력 o에 연결하는 형식적 관계 집합을 제시한다(관계 1–6).
• 부분(같은/same) 패딩과 전체 패딩을 출력 크기 공식과 함께 설명한다.
• 풀링 산술을 합성과 동일한 프레임워크로 설명한다(관계 7).
• 전치 컨볼루션 산술을 전방 컨볼루션의 기울기(또는 전치)로 보는 관점에서 도출한다(섹션 4.1–4.6).
• 확장 컨볼루션을 도입하고 출력 크기 관계를 도출한다(관계 15).
• 컨볼루션의 행렬-연산자 관점으로 전방 및 역방향 패스를 밝히는 논의(섹션 4.1).

실험 결과

연구 질문

• RQ1 축을 따라 컨볼루션의 출력 크기를 결정하는 입력 크기, 커널 크기, 패딩 및 스트라이드 간의 정확한 관계는 무엇인가?
• RQ2 패딩 모드(half/same 및 full)가 컨볼루션 및 전치 컨볼루션의 출력 형태에 어떤 영향을 미치는가?
• RQ3 출력 형태 및 연결성 측면에서 컨볼루션과 그 전치 변형 간의 정확한 관계는 무엇인가?
• RQ4 확장된 컨볼루션이 실제 커널 크기와 출력 크기에 어떤 변화를 가져오는가?
• RQ5 컨볼루션의 전방과 역방 패스를 명확히 하기 위한 행렬 해석은 무엇을 보여주는가?

주요 결과

• 축을 따라 컨볼루션 출력 크기는 입력 크기, 커널 크기, 스트라이드, 패딩에 의존하며, 이 축들은 독립적이다.
• 홀수 커널 크기와 단위 스트라이드에 대해 Half(same) 패딩은 입력 크기를 보존하고, Full 패딩은 커널-1만큼 출력 크기를 증가시킨다.
• 비단위 스트라이드는 출력 크기를 바닥함수 기반 관계로 수정하며, 패딩은 공식에서 i를 i+2p로 대체하여 포함될 수 있다.
• 전치 컨볼루션은 순방향 컨볼루션의 기울기(또는 전치)로 이해될 수 있으며, 두 연산 간의 패딩과 스트라이드를 매핑하는 특정 관계가 있다.
• 확장형 컨볼루션은 커널을 늘리지 않고 수용 영역을 증가시키며, 효과적 커널 크기를 hat{k}=k+(k-1)(d-1)로 정의하고 출력 크기를 이에 따라 조정한다.
• 컨볼루션은 희소 행렬 연산으로 표현될 수 있어, 컨볼루션 매트릭스의 전치로 역패스를 쉽게 도출할 수 있다.