[논문 리뷰] Multi-level Wavelet-CNN for Image Restoration

Pengju Liu, Hongzhi Zhang외 3명|arXiv (Cornell University)|2018. 05. 18.

Image and Signal Denoising Methods참고 문헌 51인용 수 36

한 줄 요약

이 논문은 수축 경로에서 이산 웨이블릿 변환(DWT)과 확장 경로에서 역웨이블릿 변환(IWT)을 사용하여 풀링 레이어를 대체하는 새로운 U-Net 기반 아키텍처인 멀티레벨 웨이블릿-CNN(MWCNN)을 제안한다. 이는 계산 비용을 증가시키지 않으면서도 수용 영역을 확대한다. 웨이블릿의 시간-주파수 국소화 특성을 활용하여 MWCNN은 이미지 노이즈 제거, 초해상도 복원, JPEG 아티팩트 제거 등에서 최신 기술을 초월하는 성능을 달성하며, PSNR와 효율성의 상호 보완적 트레이드오프에서도 딜레이티드 CNN 및 기타 기준 모델을 능가한다.

ABSTRACT

The tradeoff between receptive field size and efficiency is a crucial issue in low level vision. Plain convolutional networks (CNNs) generally enlarge the receptive field at the expense of computational cost. Recently, dilated filtering has been adopted to address this issue. But it suffers from gridding effect, and the resulting receptive field is only a sparse sampling of input image with checkerboard patterns. In this paper, we present a novel multi-level wavelet CNN (MWCNN) model for better tradeoff between receptive field size and computational efficiency. With the modified U-Net architecture, wavelet transform is introduced to reduce the size of feature maps in the contracting subnetwork. Furthermore, another convolutional layer is further used to decrease the channels of feature maps. In the expanding subnetwork, inverse wavelet transform is then deployed to reconstruct the high resolution feature maps. Our MWCNN can also be explained as the generalization of dilated filtering and subsampling, and can be applied to many image restoration tasks. The experimental results clearly show the effectiveness of MWCNN for image denoising, single image super-resolution, and JPEG image artifacts removal.

연구 동기 및 목표

• 저수준 시각 작업에서 수용 영역 크기와 계산 효율성 사이의 상충 관계를 해결하기 위해.
• 희박 샘플링을 사용하는 딜레이티드 컨볼루션의 격자 무늬 효과를 제거하기 위해 다중 수준 웨이블릿 분해로 대체함으로써 이를 해결하기 위해.
• 특징의 다운샘플링 및 재구성 과정에서 세밀한 무늬와 구조적 세부 정보를 유지하기 위해.
• 다양한 이미지 복원 작업에 적용 가능한 일반화 가능한 아키텍처를 제공하기 위해.
• 웨이블릿 기반 다운샘플링이 복원 성능에서 최대풀링 및 학습 가능한 필터를 능가하는지 입증하기 위해.

제안 방법

• MWCNN 아키텍처는 이산 웨이블릿 변환(DWT)을 사용해 다중 수준 다운샘플링을 수행하는 수정된 U-Net 기반으로 구성된다.
• 수축 경로에서 DWT는 특징 맵을 하위대역으로 분해하여 주파수 및 공간 정보를 모두 유지한다.
• 각 DWT 이후에 컨볼루션 레이어를 적용하여 채널 수를 감소시켜 계산 부담을 줄인다.
• 확장 경로에서는 역웨이블릿 변환(IWT)을 사용해 하위대역에서 고해상도 특징 맵을 재구성한다.
• 수축 경로와 확장 경로의 특징을 요소별 합산을 통해 연결하는 스킵 연결을 통해 특징 융합을 향상시킨다.
• 이 방법은 딜레이티드 필터링과 서브샘플링을 일반화하며, 웨이블릿 변환은 구조적이고 가역적인 다운샘플링 메커니즘으로 작용한다.

실험 결과

연구 질문

• RQ1 U-Net 아키텍처에서 웨이블릿 기반 다운샘플링이 표준 풀링이나 딜레이티드 컨볼루션보다 더 큰 효과적 수용 영역을 달성할 수 있는가?
• RQ2 DWT와 IWT를 사용할 경우 최대풀링이나 학습 가능한 필터보다 더 많은 구조적 및 무늬 세부 정보를 유지하는가?
• RQ3 MWCNN 프레임워크가 계산 효율성을 유지하면서도 기존 CNN보다 이미지 복원 작업에서 뛰어난 성능을 내는가?
• RQ4 웨이블릿 필터의 선택(예: 하르, DB2, 허미트)이 복원 성능과 속도에 어떤 영향을 미치는가?
• RQ5 단일 수준 분해보다 다중 수준 웨이블릿 분해가 이미지 복원에 더 효과적인가?

주요 결과

• Set5 ×4 초해상도 벤치마크에서 MWCNN은 VDSR, DnCNN, LapSRN과 같은 최신 모델보다 높은 PSNR를 기록했으며, 추론 시간은 다소 증가했을 뿐이다.
• 노이즈 수준 50인 가우시안 노이즈 제거 작업에서 MWCNN-3(3단계 분해)는 Set12에서 27.74 dB의 PSNR를 기록하여 MWCNN-1 및 MWCNN-2를 능가했으며, 합리적인 속도를 유지했다.
• 시험된 웨이블릿 중 하르 웨이블릿이 가장 뛰어난 성능을 보였으며, MWCNN (하르)는 딜레이티드 CNN과 유사한 PSNR를 기록했지만 더 우수한 수용 영역 커버리지를 확보했다.
• 추론 실험 결과, 합산 연결이 연결보다 효율성이 뛰어나면서도 PSNR에 손상이 없음을 확인했다.
• 24층의 MWCNN-3가 성능과 속도의 최적 균형을 이룩했으며, 더 깊은 MWCNN-4에서는 유의미한 성능 향상이 없었다.
• 웨이블릿 하위대역을 별도로 처리하는 방식(DCF와 유사)은 성능을 저하시키며, MWCNN이 하위대역 간의 공동 모델링을 통해 더 효과적임을 확인했다.