[논문 리뷰] Checkerboard artifact free sub-pixel convolution: A note on sub-pixel convolution, resize convolution and convolution resize

Andrew P. Aitken, Christian Ledig외 4명|arXiv (Cornell University)|2017. 07. 10.

Image Processing Techniques and Applications참고 문헌 16인용 수 141

한 줄 요약

이 노트는 초기화 직후 체커보드 인공물을 제거하고 같은 계산 비용에서 리사이즈 컨볼루션보다 더 큰 모델링 능력을 제공하는 서브-픽셀 컨볼루션용 합성곱 신경망 크기 조정 초기화를 제안한다.

ABSTRACT

The most prominent problem associated with the deconvolution layer is the presence of checkerboard artifacts in output images and dense labels. To combat this problem, smoothness constraints, post processing and different architecture designs have been proposed. Odena et al. highlight three sources of checkerboard artifacts: deconvolution overlap, random initialization and loss functions. In this note, we proposed an initialization method for sub-pixel convolution known as convolution NN resize. Compared to sub-pixel convolution initialized with schemes designed for standard convolution kernels, it is free from checkerboard artifacts immediately after initialization. Compared to resize convolution, at the same computational complexity, it has more modelling power and converges to solutions with smaller test errors.

연구 동기 및 목표

• 디컨볼루션 기반 업샘플링에서 체커보드 인공물 문제를 제기한다.
• 서브-픽셀 컨볼루션을 위한 초기화 방법으로 'convolution NN resize'를 도입한다.
• 제안된 방법을 표준 서브-픽셀 컨볼루션 초기화 및 리사이즈 컨볼루션과 아티팩트 및 모델링 파워 측면에서 비교한다.

제안 방법

• 서브-픽셀 컨볼루션의 초기화로서 convolution NN resize를 정의한다.
• 이 초기화가 초기화 직후 즉시 체커보드 인공물을 제거함을 주장한다.
• 리사이즈 컨볼루션에 대한 계산 복잡도와 모델링 파워를 비교한다.
• 대안 스킴에 비해 수렴 거동과 테스트 오류를 평가한다.

실험 결과

연구 질문

• RQ1 추가 후처리 없이 convolution NN resize 초기화가 체커보드 인공물을 제거할 수 있는가?
• RQ2 동일한 계산 비용에서 표준 서브-픽셀 컨볼루션 초기화와 비교하여 test error는 어떻게 나타나는가?
• RQ3 제안된 방법과 리사이즈 컨볼루션 간의 모델링 파워와 인공물 간의 트레이드오프는 어떠한가?

주요 결과

• convolution NN resize 초기화는 초기화 직후 아티팩트가 없는 출력물을 생성한다.
• 동일한 계산 복잡도에서 convolution NN resize는 리사이즈 컨볼루션보다 더 큰 모델링 파워를 가진다.
• 유사한 비용 하에서 제안된 방법은 리사이즈 컨볼루션에 비해 더 작은 테스트 오류를 가진 해로 수렴한다.