[논문 리뷰] Deep Convolution Networks for Compression Artifacts Reduction

Ke Yu, Chao Dong외 2명|arXiv (Cornell University)|2016. 08. 09.

Advanced Image Processing Techniques참고 문헌 37인용 수 72

한 줄 요약

이 논문은 JPEG, JPEG 2000 및 트위터와 같은 실세계 압축 이미지에서 블로킹, 리bbing, 흐림 등의 다중 압축 아티팩트를 효과적으로 줄이는 딥 컨볼루션 네트워크인 AR-CNN을 제안한다. 특징 강화 레이어를 통합하고 스트라이드 기반 디컨볼루션 및 필터 매핑을 통해 네트워크를 가속화함으로써 성능 손실를 최소화하면서도 7.5배 빠른 속도를 달성하였으며, 벤치마크 및 실세계 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Lossy compression introduces complex compression artifacts, particularly blocking artifacts, ringing effects and blurring. Existing algorithms either focus on removing blocking artifacts and produce blurred output, or restore sharpened images that are accompanied with ringing effects. Inspired by the success of deep convolutional networks (DCN) on superresolution, we formulate a compact and efficient network for seamless attenuation of different compression artifacts. To meet the speed requirement of real-world applications, we further accelerate the proposed baseline model by layer decomposition and joint use of large-stride convolutional and deconvolutional layers. This also leads to a more general CNN framework that has a close relationship with the conventional Multi-Layer Perceptron (MLP). Finally, the modified network achieves a speed up of 7.5 times with almost no performance loss compared to the baseline model. We also demonstrate that a deeper model can be effectively trained with features learned in a shallow network. Following a similar "easy to hard" idea, we systematically investigate three practical transfer settings and show the effectiveness of transfer learning in low-level vision problems. Our method shows superior performance than the state-of-the-art methods both on benchmark datasets and a real-world use case.

연구 동기 및 목표

• JPEG, JPEG 2000 및 트위터의 전용 방식과 같은 다양한 압축 표준에서 블로킹, 리bbing, 흐림 등의 복잡하고 신호에 따라 달라지는 압축 아티팩트를 해결하는 데 도전한다.
• 기존 방법들이 특정 아티팩트(예: 블로킹 전용)에만 집중하거나 결과적으로 흐릿하거나 리bbing이 강화된 출력을 생성하는 한계를 극복한다.
• 문제에 특화된 사전 지식이나 압축 전용 복호화에 의존하지 않고도 여러 아티팩트 유형을 효과적으로 처리할 수 있는 일반화된 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.
• 실시간 배포를 위해 네트워크를 가속화하면서도 높은 복원 품질을 유지하여 대역폭 제약이 있는 응용 분야에서 실용적인 활용을 가능하게 한다.
• 얕은 사전 훈련된 네트워크의 특징을 활용하여 깊이 있는 모델을 훈련시키는 전이 학습의 효과를 저수준 시각 작업에서 입증한다.

제안 방법

• 첫 번째 컨볼루션 레이어 이후에 특징 강화 블록을 통합한 네 가지 레이어로 구성된 딥 컨볼루션 네트워크인 AR-CNN을 제안하여 노이즈가 많은 특징을 정제하고 아티팩트를 억제한다.
• 추론 속도를 향상시키기 위해 레이어 분해 및 대규모 스트라이드 컨볼루션/디컨볼루션 레이어를 도입하여 계산 비용을 7.5배 감소시키며 성능 저하를 최소화한다.
• 다층 퍼셉트론(MLP)의 구조를 모방한 수정된 네트워크 아키텍처를 사용하여 효율적인 특징 학습을 가능하게 하면서도 강력한 표현 능력을 유지한다.
• 세 가지 실용적인 '쉬운 것에서 어려운 것' 설정을 통해 전이 학습을 적용한다: 얕은 네트워크에서 미세조정, 사전 훈련된 가중치로 깊은 네트워크 초기화, 점진적으로 복잡도를 높여가며 훈련하는 것.
• 스트라이드 크기(s=2 선택), 매핑 필터 수(n₄=64), 네트워크 깊이 등의 하이퍼파라미터를 최적화하여 속도와 정확도 사이의 균형을 맞춘다.
• 픽셀 단위 재구성 오차를 최소화하는 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 데이터 증강 및 정규화를 통해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크는 JPEG 등 다양한 압축 표준에서 블로킹, 리bbing, 흐림 등의 다수 아티팩트를 동시에 효과적으로 억제할 수 있는가?
• RQ2 성능 저하 없이 실시간 배포를 위해 딥 러닝 모델을 어떻게 가속화할 수 있는가?
• RQ3 전이 학습은 저수준 시각 작업, 예를 들어 압축 아티팩트 감소와 같은 작업에서 훈련 효율성과 성능 향상에 얼마나 기여하는가?
• RQ4 대규모 스트라이드 컨볼루션 및 디컨볼루션을 사용할 경우 계산 복잡도를 감소시키면서도 이미지 세부 정보를 유지할 수 있는가?
• RQ5 가속화된 모델(Fast AR-CNN)은 다양한 압축 품질과 실세계 사용 케이스에서 기준 AR-CNN 및 최신 기술 대비 성능이 어떻게 비교되는가?

주요 결과

• 제안된 AR-CNN는 JPEG 품질 q=10일 때 LIVE1 데이터셋에서 PSNR 29.13 dB를 달성하여 기존 최신 기술 대비 PSNR 및 SSIM 모두에서 승리한다.
• 7.5배 빠른 추론 속도를 확보한 Fast AR-CNN는 q=10일 때 PSNR 29.07 dB를 기록하여 기준 모델 대비 단지 0.06 dB의 감소를 보이며 높은 주관적 품질을 유지한다.
• 스트라이드 크기 s=2가 속도와 성능 사이의 최적 균형을 이룹니다. s=3은 PSNR가 28.78 dB로 크게 감소하여 더 큰 스트라이드가 복원에 필수적인 세부 정보를 손실시킴을 시사한다.
• 매핑 필터 수를 16에서 64로 늘일 경우 PSNR는 29.07 dB에서 29.10 dB로 향상되며, n₄=64를 초과해도 이득이 미미하여 64개 필터를 선택하는 것이 타당하다고 입증된다.
• Fast AR-CNN은 저품질 이미지(q=10,20)에서는 기준 모델과 유사한 성능을 보이나, 고품질 이미지(q=30,40)에서는 세부 무늬 영역에서 큰 스트라이드로 인한 정보 손실로 인해 성능 격차가 발생한다.
• 전이 학습은 훈련 효율성과 모델 성능을 크게 향상시키며, 얕은 사전 훈련된 모델의 특징을 활용하여 깊은 네트워크의 효과적인 훈련을 가능하게 한다.