[논문 리뷰] DPW-SDNet: Dual Pixel-Wavelet Domain Deep CNNs for Soft Decoding of JPEG-Compressed Images

Honggang Chen, Xiaohai He외 3명|arXiv (Cornell University)|2018. 05. 27.

Image and Signal Denoising Methods참고 문헌 33인용 수 7

한 줄 요약

이 논문은 픽셀 도메인과 1단계 이산 웨이블릿 변환(DWT) 도메인에서 동시에 압축 해제된 이미지를 복원하는 이중 도메인 딥 CNN 프레임워크인 DPW-SDNet을 제안한다. 다운샘플된 이미지 버전과 DWT 계수에서 유도된 4채널 입력을 사용함으로써, 저비트레이트에서 블로킹 및 블러링 아티팩트를 감소시키는 데 있어 기존 방법 대비 최대 2.4 dB의 PSNR 향상을 달성하면서도 계산 효율성을 유지한다.

ABSTRACT

JPEG is one of the widely used lossy compression methods. JPEG-compressed images usually suffer from compression artifacts including blocking and blurring, especially at low bit-rates. Soft decoding is an effective solution to improve the quality of compressed images without changing codec or introducing extra coding bits. Inspired by the excellent performance of the deep convolutional neural networks (CNNs) on both low-level and high-level computer vision problems, we develop a dual pixel-wavelet domain deep CNNs-based soft decoding network for JPEG-compressed images, namely DPW-SDNet. The pixel domain deep network takes the four downsampled versions of the compressed image to form a 4-channel input and outputs a pixel domain prediction, while the wavelet domain deep network uses the 1-level discrete wavelet transformation (DWT) coefficients to form a 4-channel input to produce a DWT domain prediction. The pixel domain and wavelet domain estimates are combined to generate the final soft decoded result. Experimental results demonstrate the superiority of the proposed DPW-SDNet over several state-of-the-art compression artifacts reduction algorithms.

연구 동기 및 목표

• 저비트레이트에서 지속적으로 발생하는 압축 아티팩트—특히 블로킹 및 블러링—을 해결하기 위해.
• 기존 코덱을 변경하거나 추가 코딩 비트를 추가하지 않고도 이미지 품질을 향상시키는 소프트 디코딩 방법을 개발하기 위해.
• 픽셀 도메인과 웨이블릿 도메인에서 상보적인 표현을 활용하여 복원 성능을 향상시키기 위해.
• 더 작은 크기의 재구성된 텐서를 처리함으로써 계산 비용을 줄이면서도 높은 정확도를 유지하는 효율적인 네트워크 아키텍처를 설계하기 위해.

제안 방법

• 이 방법은 이중 브랜치 CNN 아키텍처를 사용한다: 한 브랜치는 픽셀 도메인에서 압축된 이미지의 4개의 다운샘플된 버전을 처리하여 4채널 입력 텐서를 형성한다.
• 두 번째 브랜치는 압축된 이미지에 1단계 DWT를 적용하고, 그 결과로 얻은 계수를 웨이블릿 도메인 처리를 위한 4채널 입력 텐서로 사용한다.
• 각 브랜치는 해당 도메인 내에서 아티팩트 감소된 이미지 버전을 예측하는 데에 특화된 깊은 CNN으로 구성되어 있다.
• 픽셀 도메인과 웨이블릿 도메인에서의 예측 결과를 융합하여 최종 소프트 디코딩 출력을 생성한다.
• 왜곡을 최소화하고 구조적 세부 정보를 유지하기 위해 인지적 손실과 재구성 손실을 함께 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 작은 크기의 텐서를 사용함으로써 효율성을 유지하여, 고성능을 달성하면서도 더 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 픽셀 도메인과 웨이블릿 도메인에서의 공동 학습이 단일 도메인 접근 방식에 비해 소프트 디코딩된 JPEG 이미지의 품질을 향상시키는가?
• RQ2 다운샘플된 이미지와 DWT 계수에서 유도된 4채널 입력이 특징 표현과 아티팩트 감소에 어떻게 기여하는가?
• RQ3 이중 도메인 융합 전략이 PSNR, SSIM 및 인지적 품질 측면에서 기존 최신 기술 수준 방법들보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ4 일괄적인 유일 모델(B-DPW-SDNet)이 원본 양자화 인자(QF)를 알지 못하는 상황에서도 다양한 QF에 대해 일반화되어 성능 저하 없이 잘 작동하는가?
• RQ5 DPW-SDNet의 훈련 수렴 속도와 추론 속도는 다른 딥 러닝 기반 소프트 디코딩 방법들과 비교해 어떻게 되는가?

주요 결과

• DPW-SDNet은 Classic5 및 LIVE1 데이터셋에서 최신 기술 수준 성능을 달성하였으며, QF=10일 때 DnCNN-3 대비 최대 2.4 dB의 PSNR 향상을 기록했다.
• QF=40일 때 DPW-SDNet은 Classic5에서 PSNR 34.07 dB, SSIM 0.9039, PSNR-B 33.24 dB를 기록하여 비교된 모든 방법들을 능가했다.
• 블라인드 모델인 B-DPW-SDNet은 다양한 QF에서 우수한 성능을 유지하며, 원본 QF가 알려지지 않은 경우에도 DnCNN-3를 항상 능가했다.
• 훈련은 200,000 반복 이내에 수렴하며, GPU에서 한 장당 2초 미만으로 실행되어 높은 효율성을 입증했다.
• 이중 도메인 융합 전략은 시각적으로 확인된 바와 같이 블로킹 및 블러링 아티팩트를 크게 감소시켰으며, 질감 복원 성능도 향상되었다.
• 이 방법은 계산적으로 효율적이며, 단일 GTX 1080 Ti GPU에서 훈련에 약 9시간이 소요되며, GPU 가속을 통해 추론 속도가 향상된다.