[논문 리뷰] An End-to-End Compression Framework Based on Convolutional Neural Networks

Feng Jiang, Tao Wen외 4명|arXiv (Cornell University)|2017. 08. 02.

Image and Signal Denoising Methods참고 문헌 6인용 수 9

한 줄 요약

이 논문은 JPEG 또는 JPEG2000와 같은 표준 이미지 코덱과 함께 작고 효율적인 컨volution 신경망(ComCNN)과 복원 신경망(RecCNN)을 통합한 엔드 투 엔드 딥러닝 프레임워크를 제안한다. 압축된 구조적 표현을 학습하고 비가역적 양자화를 통해 기울기 전파를 가능하게 하기 위해 두 네트워크를 공동으로 훈련함으로써, 후처리 기반 방법보다 빠른 추론 속도를 기록하면서도 최신 기술 수준의 압축 성능을 달성한다.

ABSTRACT

Deep learning, e.g., convolutional neural networks (CNNs), has achieved great success in image processing and computer vision especially in high level vision applications such as recognition and understanding. However, it is rarely used to solve low-level vision problems such as image compression studied in this paper. Here, we move forward a step and propose a novel compression framework based on CNNs. To achieve high-quality image compression at low bit rates, two CNNs are seamlessly integrated into an end-to-end compression framework. The first CNN, named compact convolutional neural network (ComCNN), learns an optimal compact representation from an input image, which preserves the structural information and is then encoded using an image codec (e.g., JPEG, JPEG2000 or BPG). The second CNN, named reconstruction convolutional neural network (RecCNN), is used to reconstruct the decoded image with high-quality in the decoding end. To make two CNNs effectively collaborate, we develop a unified end-to-end learning algorithm to simultaneously learn ComCNN and RecCNN, which facilitates the accurate reconstruction of the decoded image using RecCNN. Such a design also makes the proposed compression framework compatible with existing image coding standards. Experimental results validate that the proposed compression framework greatly outperforms several compression frameworks that use existing image coding standards with state-of-the-art deblocking or denoising post-processing methods.

연구 동기 및 목표

• 저비트레이트에서 블록 아티팩트와 노이즈를 유발하는 전통적 이미지 코덱(예: JPEG, JPEG2000)의 한계를 해결하기 위해.
• 표준 코덱 내에서의 양자화 비가역성 문제를 해결하여 딥러닝 기반의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 계산 비용이 큰 후처리 필터에 의존하지 않고도 저비트레이트에서 높은 품질의 이미지 복원을 달성하기 위해.
• 실제 구현을 위해 기존 이미지 코딩 표준과의 호환성을 확보하기 위해.

제안 방법

• 프레임워크는 입력 이미지의 압축된 정보 유지를 위한 작고 효율적인 컨volution 신경망(ComCNN)을 사용한다.
• 이 압축된 표현은 변환, 양자화, 엔트로피 코딩를 포함한 표준 이미지 코덱(예: JPEG, JPEG2000, BPG)을 통해 인코딩된다.
• 별도의 복원 컨볼루션 신경망(RecCNN)이 압축된 표현을 디코딩하고 고품질의 이미지를 복원한다.
• 비가역적 양자화 단계를 통해 기울기 전파를 가능하게 하기 위해, ComCNN과 RecCNN을 공동으로 훈련할 수 있는 통합된 엔드 투 엔드 학습 알고리즘을 개발하였다.
• 압축된 표현 내에서 구조적 정보를 유지함으로써, 표준 코덱과 함께 효율적이고 고품질의 압축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 이미지 코덱과 CNN을 통합한 딥러닝 프레임워크가 기존 코덱과 후처리 기반 방법보다 이미지 압축 품질에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 표준 코덱 내에서의 양자화가 비가역적일 경우 엔드 투 엔드 훈련을 어떻게 달성할 수 있는가?
• RQ3 작은 크기의 CNN 표현이 표준 코덱과 함께 고품질 복원을 가능하게 하기 위해 충분한 구조적 정보를 유지할 수 있는가?
• RQ4 제안된 프레임워크는 기존 후처리 기반 압축 방법보다 더 빠른 추론 속도를 제공하는가?

주요 결과

• 같은 비트레이트에서 네 개의 데이터셋에 걸쳐 JPEG 및 JPEG2000보다 평균적으로 5.22%의 PSNR 향상을 달성했다.
• General-100 데이터셋에서 0.3 bpp에서 32.88 dB의 PSNR를 기록하여, JPEG2000(32.00 dB)보다 0.88 dB 높은 성능을 보였다.
• 256×256 이미지에 대해 CPU에서 1.56초, GPU에서 0.017초의 시간이 소요되어 대부분의 후처리 기반 방법보다 빠른 속도를 기록했다.
• 실행 시간의 거의 전부를 차지하는 RecCNN 하위 네트워크는 20층으로 구성되어 있으며, 압축된 표현에서 고품질 복원을 가능하게 한다.
• 2747 bpp에서 Peppers 이미지에 대해 31.43 dB의 PSNR와 0.8287의 SSIM을 기록하여, 동일 비트레이트에서 JPEG2000(30.81 dB, 0.8108 SSIM)를 초월했다.