[논문 리뷰] Is the deconvolution layer the same as a convolutional layer?

Wenzhe Shi, José Caballero외 5명|arXiv (Cornell University)|2016. 09. 22.

Advanced Image Processing Techniques참고 문헌 4인용 수 106

한 줄 요약

이 노트는 deconvolution(전치 및 서브픽셀) 레이어 간의 관계를 명확히 하고 효율적인 LR-space 합성을 도입하며, LR-space 합성이 고정 예산하에서 고해상도 업샘플링보다 더 나을 수 있다고 주장한다.

ABSTRACT

In this note, we want to focus on aspects related to two questions most people asked us at CVPR about the network we presented. Firstly, What is the relationship between our proposed layer and the deconvolution layer? And secondly, why are convolutions in low-resolution (LR) space a better choice? These are key questions we tried to answer in the paper, but we were not able to go into as much depth and clarity as we would have liked in the space allowance. To better answer these questions in this note, we first discuss the relationships between the deconvolution layer in the forms of the transposed convolution layer, the sub-pixel convolutional layer and our efficient sub-pixel convolutional layer. We will refer to our efficient sub-pixel convolutional layer as a convolutional layer in LR space to distinguish it from the common sub-pixel convolutional layer. We will then show that for a fixed computational budget and complexity, a network with convolutions exclusively in LR space has more representation power at the same speed than a network that first upsamples the input in high resolution space.

연구 동기 및 목표

• deconvolution 레이어가 표준 합성곱과 어떻게 관련되는지 설명한다.
• 전치(Transposed), 서브픽셀, 및 효율적인 LR-space 합성을 구분한다.
• 고정된 계산 예산 하에서 저해상도 공간의 합성이 왜 더 효과적일 수 있는지 보여준다.

제안 방법

• deconvolution 형태들(전치 합성, 서브픽셀 합성, 효율적인 서브픽셀 합성) 간의 관계를 논의한다.
• 그들의 효율적인 LR-space 합성을 일반적인 서브픽셀 레이어와 구별되는 독립적인 유형으로 도입한다.
• 고정된 계산 예산과 복잡도 하에서 이론적 및 개념적 비교를 제공한다.

실험 결과

연구 질문

• RQ1 제안된 레이어와 deconvolution 레이어 간의 관계는 무엇인가?
• RQ2 고정 예산하에서 저해상도 공간의 합성이 왜 더 나은 선택인가?
• RQ3 전치(Transposed), 서브픽셀, 및 효율적인 서브픽셀 합성은 표현력과 속도에서 어떻게 다른가?

주요 결과

• 이 노트는 deconvolution 변형들 간의 관계와 저자의 효율적인 LR-space 합성을 명확히 설명한다.
• 효율적인 서브픽셀 합성 층을 표준 서브픽셀 층과 구별한다.
• 고정된 계산 예산에서는 LR-space 합성을 가진 네트워크가 같은 속도에서 고해상도로 먼저 업샘플링하는 네트워크보다 표현력을 더 높이다.
• 이 논의는 레이어 선택에 관한 CVPR의 실무적 질문에 더 잘 답하는 데 도움이 되는 통찰을 제공한다.