[논문 리뷰] DMCNN: Dual-Domain Multi-Scale Convolutional Neural Network for Compression Artifacts Removal

Xiaoshuai Zhang, Wenhan Yang외 2명|arXiv (Cornell University)|2018. 06. 08.

Image and Signal Denoising Methods참고 문헌 16인용 수 10

한 줄 요약

이 논문은 DMCNN을 제안하며, 확장된 수축계수를 통해 큰 수축계수를 확보하고 다중 척도 감독을 통해 JPEG 압축 잔여물 제거를 향상시키는 이중 도메인 다중 척도 컨볼루션 신경망이다. 이는 픽셀 도메인과 DCT 도메인 양쪽에서의 사전 지식을 통합함으로써 성능을 향상시킨다. 이 방법은 표준 벤치마크에서 최신 기술을 초월하여 PSNR, SSIM 및 PSNR-B에서 앞서는 성능을 달성한다.

ABSTRACT

JPEG is one of the most commonly used standards among lossy image compression methods. However, JPEG compression inevitably introduces various kinds of artifacts, especially at high compression rates, which could greatly affect the Quality of Experience (QoE). Recently, convolutional neural network (CNN) based methods have shown excellent performance for removing the JPEG artifacts. Lots of efforts have been made to deepen the CNNs and extract deeper features, while relatively few works pay attention to the receptive field of the network. In this paper, we illustrate that the quality of output images can be significantly improved by enlarging the receptive fields in many cases. One step further, we propose a Dual-domain Multi-scale CNN (DMCNN) to take full advantage of redundancies on both the pixel and DCT domains. Experiments show that DMCNN sets a new state-of-the-art for the task of JPEG artifact removal.

연구 동기 및 목표

• 기존의 CNN 기반 JPEG 잔여물 제거 방법에서 작은 수축계수의 한계를 해결함으로써, 밴딩과 같은 대규모 잔여물의 효과적인 복구를 가능하게 하기 위해.
• 픽셀 도메인과 DCT 도메인 양쪽에서의 중복성을 활용하여 도메인 특화 사전 지식을 활용함으로써 이미지 복원 품질을 향상시키기 위해.
• 확장된 컨볼루션과 다중 척도 감독을 통해 글로벌 맥락 모델링을 가능하게 하여 네트워크가 장거리 의존성을 더 잘 포착할 수 있도록 하기 위해.
• 양 도메인에서 인코더-디코더 아키텍처를 통합하여 공동 최적화를 수행할 수 있는 엔드 투 엔드 학습 가능한 아키텍처를 개발하기 위해.
• 특히 잔여물이 가장 심각한 고압축 비율에서의 성능을 향상시키기 위해 기준 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• DMCNN 아키텍처는 픽셀 도메인과 DCT 도메인에서 각각 작동하는 두 개의 병렬 인코더-디코더 브랜치로 구성되며, 각 브랜치는 압축된 이미지의 계층적 표현을 학습하도록 설계되었다.
• 확장된 컨볼루션은 두 브랜치 모두에서 사용되어 파rameter 수를 증가시키지 않으면서도 수축계수를 크게 확장함으로써 글로벌 이미지 패턴을 모델링할 수 있도록 하였다.
• 세 가지 척도(원본, 다운샘플링된, 가장粗略한)에서 다중 척도 손실 함수를 적용하여 다양한 추상 수준에서의 특징 학습을 감독함으로써 세부 사항 복구를 향상시켰다.
• 최종 출력은 입력 이미지, DCT 브랜치 예측, 픽셀 브랜치 예측의 가중합이며, 기여도를 균형 조절하기 위해 학습 가능한 또는 고정된 가중치를 사용하였다.
• 잔차 학습은 수정된 잔차 블록 구조로 적용되었으며, DCT 및 IDCT 레이어는 표준 DCT 행렬 계수로 고정 및 초기화되어 도메인 특화된 유도적 편향을 유지하였다.
• 모델은 동적 학습률 감소 전략을 적용한 Adam 옵timizer를 사용하여 훈련되었으며, 품질 인자 QF=20에서 시작하여 QF=10으로 점진적으로 진행하는 커리큘럼 학습 전략을 사용하였다.

실험 결과

연구 질문

• RQ1 CNN의 수축계수를 확장하면 밴딩과 같은 대규모 JPEG 잔여물 제거에 상당한 향상이 이루어지는가?
• RQ2 픽셀 도메인과 DCT 도메인의 특징을 조합하면 단일 도메인 접근 방식보다 더 나은 잔여물 억제 및 세부 사항 복구가 가능한가?
• RQ3 다중 척도 감독과 확장된 컨볼루션은 함께 네트워크의 글로벌 이미지 구조 모델링 능력을 향상시키는가?
• RQ4 제안된 이중 도메인, 다중 척도 아키텍처는 PSNR, SSIM 및 시각적 품질 측면에서 기존 최신 기술 방법과 비교해 어떻게 성능을 내는가?
• RQ5 고정된 DCT 레이어 통합은 JPEG 압축의 유도적 편향을 유지하면서 성능 향상에 기여하는가?

주요 결과

• LIVE1 데이터셋에서 QF=10일 때 DMCNN은 PSNR 29.73 dB를 기록하여 이전 최신 기술인 DDCN보다 0.14 dB 높은 성능을 달성하였다.
• BSDS500 테스트 세트에서 QF=10일 때 DMCNN은 PSNR 29.67 dB를 기록하여 DDCN(29.59 dB) 및 기타 선도적 방법들을 능가하였다.
• LIVE1에서 QF=10일 때 DMCNN은 PSNR-B 29.55 dB를 기록하여 고주파 세부 정보를 더 잘 유지하고 블로킹 잔여물을 줄이는 데 뛰어난 성능을 보였다.
• 주관적 평가 결과 DMCNN은 특히 부드러운 그라디언트 복구 및 밴딩 효과 제거에서 더 시각적으로 매력적인 결과를 생성하는 것으로 확인되었다.
• 제거 분석 결과, 확장된 수축계수(확장된 컨볼루션을 통한), 다중 척도 감독, 이중 도메인 학습의 조합이 성능 향상에 필수적임을 확인하였다.
• QF=20에서 훈련된 모델는 QF=10로 일반화하는 데 잘 성공하였으며, LIVE1에서 QF=20일 때 PSNR 32.09 dB를 기록하여 비교된 모든 방법보다 높은 성능을 달성하였다.