[논문 리뷰] $\mathbf{D^3}$: Deep Dual-Domain Based Fast Restoration of JPEG-Compressed Images

Zhangyang Wang, Ding Liu외 4명|arXiv (Cornell University)|2016. 01. 16.

Advanced Image Processing Techniques참고 문헌 28인용 수 3

한 줄 요약

이 논문은 압축 이미지 복원을 위해 JPEG 고유의 사전 지식과 희박 코딩 전문 지식을 활용하는 딥 듀얼도메인 네트워크인 D³을 제안한다. DCT 도메인과 픽셀 도메인의 희박성 특성을 통합하고 경량의 One-Step Sparse Inference (1-SI) 모듈을 도입함으로써, D³는 기존 딥 모델 대비 최대 1 dB 높은 PSNR 성능을 달성하면서도 30배 이상 빠른 속도를 확보하여 실시간 HDTV 및 비디오 코덱 응용 분야에 적합하다.

ABSTRACT

In this paper, we design a Deep Dual-Domain ($\mathbf{D^3}$) based fast restoration model to remove artifacts of JPEG compressed images. It leverages the large learning capacity of deep networks, as well as the problem-specific expertise that was hardly incorporated in the past design of deep architectures. For the latter, we take into consideration both the prior knowledge of the JPEG compression scheme, and the successful practice of the sparsity-based dual-domain approach. We further design the One-Step Sparse Inference (1-SI) module, as an efficient and light-weighted feed-forward approximation of sparse coding. Extensive experiments verify the superiority of the proposed $D^3$ model over several state-of-the-art methods. Specifically, our best model is capable of outperforming the latest deep model for around 1 dB in PSNR, and is 30 times faster.

연구 동기 및 목표

• 일반적인 딥 러닝 모델의 JPEG 압축 이미지 복원 능력에 한계가 있음을 고려해 문제 특화 사전 지식을 통합함으로써 이를 해결하고자 한다.
• 반복적인 희박 코딩 방법의 비효율성을 해결하기 위해 피드포워드 방식의 경량 근사 모델을 설계하고자 한다.
• 고프레임레이트 비디오 코덱의 실시간 후처리를 가능하게 하기 위해 계산 속도를 최적화하면서도 품질을 손상시키지 않도록 하고자 한다.
• 구조적 아키텍처 설계를 통해 특히 텍스트 및 에지 영역과 같은 도전적인 영역에서의 세밀한 디테일과 텍스처 복원을 향상시키고자 한다.
• JPEG 압축 지식과 희박 코딩 원리를 융합함으로써 딥 네트워크의 성능 향상과 해석 가능성 향상을 입증하고자 한다.

제안 방법

• 이중 단계 딥 네트워크를 설계한다: 제1단계는 고주파 성분을 복구하기 위해 학습된 DCT 기반 모듈을 사용해 DCT 도메인에서 복원을 수행한다.
• 제2단계는 경량 피드포워드 네트워크를 통해 픽셀 도메인에서 복원을 수행하여 아티팩트를 억제하고 전반적인 구조를 정밀하게 보정한다.
• 기존 반복적 해법을 대체하는 비반복적, 미분 가능한 희박 코딩 근사 모듈인 One-Step Sparse Inference (1-SI) 모듈을 도입한다.
• 물리적 타당성을 강제로 보장하고 디테일 복원을 향상시키기 위해 상자 제약 손실 함수(L_B)를 사용해 DCT 계수를 정규화한다.
• 고품질 훈련 이미지에서의 희박 코딩 결과를 사용해 네트워크를 초기화함으로써 고주파 디테일 지식을 통합한다.
• 도메인 특화 인덕티브 바이어스를 제공하기 위해 일관된 DCT 및 역DCT 레이어를 미분 가능한 구성 요소로 통합해 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 JPEG 압축 사전 지식과 듀얼도메인 희박성의 명시적 통합이 일반적인 딥 네트워크에 비해 이미지 복원 성능 향상에 기여하는가?
• RQ2 경량 피드포워드 희박 코딩 근사(1-SI)는 반복적 희박 코딩에 비해 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 희박 코딩 기반 초기화가 압축 이미지에서 세밀한 텍스처와 텍스트 복원에 얼마나 기여하는가?
• RQ4 미분 가능한 이중도메인 아키텍처(DCT + 픽셀)가 단일도메인 또는 비듀얼도메인 모델에 비해 PSNR와 추론 속도 양면에서 우월한 성능을 보이는가?
• RQ5 상자 제약 손실이 최종 출력에서 고주파 디테일 보존과 아티팩트 감소에 미치는 영향은 어떠한가?

주요 결과

• D³는 LIVE1 데이터셋에서 최신 딥 러닝 모델(AR-CNN) 대비 최대 1 dB 높은 PSNR 성능을 기록하여 뛰어난 복원 품질을 입증했다.
• 최고의 D³ 모델(D³-256)은 이미지당 약 12 ms 내외로 처리되며, AR-CNN의 약 400 ms 대비 30배 이상 빠른 속도를 확보했다.
• 중간 출력 결과를 분석한 결과, DCT 도메인 복원은 고주파 디테일을 향상시키지만 아티팩트를 유발하는 경향이 있었고, 이는 픽셀 도메인 단계에서 효과적으로 억제되었다.
• 희박 코딩 기반 초기화가 텍스트 및 텍스처 복원에 크게 기여함을 확인했으며, 무작위 초기화를 사용할 경우 성능 저하가 발생하는 것으로 나타났다.
• 상자 제약 손실은 DCT 계수의 범위를 제한하고 특히 에지 및 텍스처 영역에서 세밀한 디테일을 유지함으로써 PSNR 향상에 기여했다.
• D³는 80p 이상의 고프레임레이트 비디오 시퀀스를 실시간으로 처리할 수 있어 HDTV 및 비디오 코덱 후처리의 실용적 솔루션으로서의 가능성을 입증했다.