[논문 리뷰] Convolutional Neural Pyramid for Image Processing

Xiaoyong Shen, Ying-Cong Chen외 2명|arXiv (Cornell University)|2017. 04. 07.

Image Enhancement Techniques참고 문헌 37인용 수 31

한 줄 요약

이 논문은 계산 비용을 증가시키지 않으면서도 저수준 영상 처리 작업을 위한 넓은 수신 영역을 가능하게 하는 컨볼루션 신경 피라미드(CNP) 프레임워크를 제안한다. 계층적이고 다중 척도 피라미드 구조를 사용하며, 적응형 깊이와 점진적 업샘플링을 통해 CNP는 전반적인 맥락을 효율적으로 포착하면서도 국소적 세부 정보를 유지하며, 이미지 복원, 복구, 노이즈 제거, 필터링과 같은 작업에서 최신 기술 수준의 성능을 달성하며 실시간 추론 속도를 확보한다.

ABSTRACT

We propose a principled convolutional neural pyramid (CNP) framework for general low-level vision and image processing tasks. It is based on the essential finding that many applications require large receptive fields for structure understanding. But corresponding neural networks for regression either stack many layers or apply large kernels to achieve it, which is computationally very costly. Our pyramid structure can greatly enlarge the field while not sacrificing computation efficiency. Extra benefit includes adaptive network depth and progressive upsampling for quasi-realtime testing on VGA-size input. Our method profits a broad set of applications, such as depth/RGB image restoration, completion, noise/artifact removal, edge refinement, image filtering, image enhancement and colorization.

연구 동기 및 목표

• 저수준 시각 작업에서 계산 효율성을 희생시키지 않고 넓은 수신 영역를 달성하는 데 도전하는 것.
• 이미지 복구 및 복원과 같은 작업에 필수적인, 회귀 기반 영상 처리 네트워크에서의 전역 맥락 이해를 가능하게 하는 것.
• 풀링을 사용하지 않고도 깊은 네트워크에서 다중 척도 특징을 효과적으로 융합하는 것.
• 노이즈 제거, 향상, 색상화, 필터링을 포함한 다양한 응용 분야를 지원하는 일반 목적의 프레임워크를 설계하는 것.
• 적응형 네트워크 깊이와 점진적 업샘플링을 통해 VGA 크기의 입력에서 준실시간 추론 속도를 확보하는 것.

제안 방법

• CNP 프레임워크는 이중 스트림 아키텍처를 사용한다: 한 스트림은 피라미드 레벨을 통해 특징을 처리하여 수신 영역를 확장하고, 다른 스트림은 각 레벨에서 특징을 추출하고 융합한다.
• 특징은 점진적으로 업샘플링되고 병합되는 계층적이고 캐스케이드 구조를 사용하며, 최소한의 계산 오버헤드로 큰 효과적 수신 영역를 달성한다.
• 학습 가능한 필터를 가진 표준 컨볼루션 레이어를 사용하며, 각 경로의 깊이는 특징의 복잡성에 따라 적응적으로 제어된다.
• 스킵 연결과 연결을 사용하여 척도 간 특징 융합을 수행하며, 초기 레이어에서의 세밀한 세부 정보를 유지한다.
• 이 프레임워크는 이미지 복원, 복구, 필터링과 같은 다양한 회귀 작업을 위해 엔드 투 엔드로 훈련되며, 지도 학습 손실 함수를 사용한다.
• 점진적 업샘플링과 효율적인 추론 스케줄링을 통한 테스트 최적화로 QVGA 입력에서 28 FPS, VGA 입력에서 9 FPS의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 깊은 신경망이 계산 비용을 크게 증가시키지 않고 저수준 시각 작업에서 매우 넓은 수신 영역를 달성할 수 있는가?
• RQ2 분류 네트워크에서 흔히 사용되는 풀링 레이어 없이도 다중 척도 특징을 효과적으로 융합할 수 있는가?
• RQ3 단일의 통합 아키텍처가 이미지 복원, 복구, 노이즈 제거와 같은 다양한 이미지 처리 작업에 일반화될 수 있는가?
• RQ4 큰 수신 영역가 이미지 복구나 색상화와 같은 전역 최적화 기반 작업의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 저수준 시각 응용 분야에서 최신 기술 수준의 성능를 달성하면서도 높은 추론 속도를 유지할 수 있는가?

주요 결과

• CNP 프레임워크는 기존 방법보다 계산 비용을 크게 낮추면서도 최대 143×143 픽셀의 수신 영역를 달성하여 전역 맥락 모델링이 가능하다.
• NYU Depth V2 데이터셋에서, 이 방법은 PSNR 39.42를 기록하여 Lu 등(34.53)과 Mutual-Structure(33.97)와 같은 이전 최신 기술 수준 방법들을 능가한다.
• 포트레이트 데이터셋에서의 이미지 복구 작업에서 CNP는 PSNR 41.21을 기록하며, 정규화된 컨볼루션(16.05), CNN 기반 인painting(30.52), PatchMatch(24.81)를 모두 앞선다.
• 이미지 필터 학습에서 CNP는 WLS에 대해 PSNR 39.6, RGF에 대해 42.6, WMF에 대해 39.3을 기록하며, [46]를 능가하고 [27]과 비교해도 성능이 유사하거나 뛰어나며, 추론 속도는 31% 빠르다.
• Nvidia Titan X에서 VGA 크기의 이미지를 9 프레임/초 속도로 처리하여 다양한 응용 분야에서 준실시간 성능를 입증한다.
• 시각적 비교 결과, 특히 무늬와 경계 보존 측면에서 CNP 결과가 베이스라인에 비해 더 선명하고 세밀한 편이다.