[논문 리뷰] Pixel Deconvolutional Networks

Hongyang Gao, Hao Yuan외 2명|arXiv (Cornell University)|2017. 05. 18.

Advanced Neural Network Applications참고 문헌 23인용 수 31

한 줄 요약

이 논문은 체크리스트 아티팩트를 제거하기 위해 순차적이고 의존성 기반의 중간 특징 맵 생성을 강제하는 새로운 디컨볼루션 연산인 픽셀 디컨볼루션 레이어(PixelDCL)를 제안한다. 이는 인접한 출력 픽셀 간의 직접적인 공간적 관계를 보장함으로써 체크리스트 아티팩트를 제거한다. 실험 결과, PixelDCL는 세분화 정확도를 향상시키고 체크리스트 아티팩트 없이 사진 수준의 현실감 있는 이미지 생성을 가능하게 하며, 표준 디컨볼루션 레이어보다 두 작업 모두에서 성능을 뛰어나게 하면서도 구현 최적화를 통해 실용적인 효율성을 유지한다.

ABSTRACT

Deconvolutional layers have been widely used in a variety of deep models for up-sampling, including encoder-decoder networks for semantic segmentation and deep generative models for unsupervised learning. One of the key limitations of deconvolutional operations is that they result in the so-called checkerboard problem. This is caused by the fact that no direct relationship exists among adjacent pixels on the output feature map. To address this problem, we propose the pixel deconvolutional layer (PixelDCL) to establish direct relationships among adjacent pixels on the up-sampled feature map. Our method is based on a fresh interpretation of the regular deconvolution operation. The resulting PixelDCL can be used to replace any deconvolutional layer in a plug-and-play manner without compromising the fully trainable capabilities of original models. The proposed PixelDCL may result in slight decrease in efficiency, but this can be overcome by an implementation trick. Experimental results on semantic segmentation demonstrate that PixelDCL can consider spatial features such as edges and shapes and yields more accurate segmentation outputs than deconvolutional layers. When used in image generation tasks, our PixelDCL can largely overcome the checkerboard problem suffered by regular deconvolution operations.

연구 동기 및 목표

• 딥 네트워크에서 업샘플링에 사용되는 디컨볼루션 레이어에서 지속적인 체크리스트 아티팩트 문제를 해결하기 위해.
• 업샘플된 특징 맵에서 인접한 픽셀 간의 직접적인 공간적 관계를 확립하기 위해, 이는 표준 디컨볼루션 연산에서 부재함.
• 모델의 훈련 가능성과 호환성을 유지하면서도 즉시 사용 가능한 디컨볼루션 레이어의 대체 수단을 제안하기 위해.
• 모서리와 형태와 같은 局부 공간적 맥락을 활용하여 세분화 및 이미지 생성 작업의 성능을 향상시키기 위해.
• 중간 특징 맵의 순차적 생성이 체크리스트 아티팩트를 효과적으로 완화할 수 있으며, 효율성 손실 최소화가 가능함을 보여주기 위해.

제안 방법

• 표준 디컨볼루션을 독립적으로 계산된 중간 특징 맵의 주기적 재배치로 재해석함으로써, 이는 인접한 출력 픽셀 간의 분리된 공간적 관계를 초래함.
• PixelDCL를 제안함으로써 중간 특징 맵을 순차적으로 생성하여, 이후 맵이 이전에 생성된 맵에 의존하도록 하여 공간 연속성을 강제함.
• 최종 업샘플된 특징 맵에서 인접한 픽셀 간의 직접적 의존성을 설정하는 순차적 생성 메커니즘을 도입함.
• 순차 처리로 인한 계산 오버헤드를 줄이기 위한 구현 기법을 활용하여, 표준 디컨볼루션 대비 효율성 손실 최소화.
• 기존의 인코더-디코더 아키텍처 및 생성 모델에서 디컨볼루션 레이어를 교체할 수 있는 플러그인 방식의 대체 수단으로 PixelDCL를 적용함.
• 모든 다른 구성 요소를 그대로 유지하면서 디코더의 디컨볼루션 레이어를 PixelDCL로 교체한 표준 U-Net 및 VAE 기반 아키텍처를 평가에 사용함.

실험 결과

연구 질문

• RQ1 디컨볼루션 연산을 재해석함으로써 업샘플된 특징 맵에서 체크리스트 아티팩트를 제거할 수 있는 방법을 도출할 수 있는가?
• RQ2 디컨볼루션에서 중간 특징 맵 간의 순차적 의존성을 강제하면 출력 특징 맵의 공간 일관성이 향상되는가?
• RQ3 PixelDCL는 아키텍처 재설계 없이도 표준 디컨볼루션 레이어의 즉시 사용 가능한 대체 수단으로 사용될 수 있는가, 모델의 훈련 가능성에 영향을 주지 않는가?
• RQ4 PixelDCL의 사용이 세분화 및 이미지 생성 품질 향상에 측정 가능한 영향을 미치는가?
• RQ5 PixelDCL의 순차 처리로 인한 계산 비용은 효율성 손실을 최소화하여 실용적인 효율성을 유지할 수 있는가?

주요 결과

• Qualitative 결과에서 시각적으로 확인된 바, PixelDCL는 세분화 및 이미지 생성 작업 모두에서 체크리스트 아티팩트를 크게 감소시킴.
• PASCAL VOC 2012 데이터셋에서, PixelDCL를 사용한 U-Net 모델은 표준 디컨볼루션 레이어를 사용한 모델보다 더 높은 평균 교차율(mIOU)과 픽셀 정확도를 달성함.
• 세분화 작업에서, PixelDCL를 사용한 모델는 표준 디컨볼루션을 사용한 모델보다 우수하며, 최고의 mIOU는 PixelDCL 버전에서 기록됨. 이는 모서리와 형태 보존 향상과 관련됨.
• CelebA 데이터셋에서의 이미지 생성 작업에서, PixelDCL를 사용한 VAE는 표준 디컨볼루션을 사용한 기준 모델과 달리 눈에 띄는 체크리스트 아티팩트 없이 사진 수준의 현실감 있는 얼굴을 생성함.
• PixelDCL의 훈련 및 추론 시간은 표준 디컨볼루션 대비 다소 높았으며, 평균적으로 훈련 시간은 1.25배, 추론 시간은 1.25배 증가함. 이는 실용적인 효율성을 보여줌.
• iPixelDCL 버전은 더 높은 의존성으로 인해 PixelDCL보다 더 높은 계산 비용을 보였지만, 둘 다 실세계 구현에 있어 실현 가능함.