[논문 리뷰] Target-Quality Image Compression with Recurrent, Convolutional Neural Networks

Michele Covell, Nick Johnston외 6명|arXiv (Cornell University)|2017. 05. 18.

Advanced Image Processing Techniques참고 문헌 6인용 수 9

한 줄 요약

이 논문은 이미지 압축에서 순환형 및 합성곱 신경망에 대해 정지코드 내성(Stop-Code Tolerant, SCT) 학습 방법을 제안하여 콘텐츠 복잡도에 따라 이미지 영역 간 기호 할당을 적응적으로 가능하게 한다. 두 번의 학습 단계를 거쳐 코드 잘라내기(trimming)에 대한 강건성과 엔트로피 코딩 효율을 향상시키는 방식으로, Kodak 데이터셋 전반에서 JPEG 및 비-SCT RNN 오토인코더보다 더 낮은 비트레이트를 달성하면서도 더 높고 균일한 이미지 품질을 제공한다.

ABSTRACT

We introduce a stop-code tolerant (SCT) approach to training recurrent convolutional neural networks for lossy image compression. Our methods introduce a multi-pass training method to combine the training goals of high-quality reconstructions in areas around stop-code masking as well as in highly-detailed areas. These methods lead to lower true bitrates for a given recursion count, both pre- and post-entropy coding, even using unstructured LZ77 code compression. The pre-LZ77 gains are achieved by trimming stop codes. The post-LZ77 gains are due to the highly unequal distributions of 0/1 codes from the SCT architectures. With these code compressions, the SCT architecture maintains or exceeds the image quality at all compression rates compared to JPEG and to RNN auto-encoders across the Kodak dataset. In addition, the SCT coding results in lower variance in image quality across the extent of the image, a characteristic that has been shown to be important in human ratings of image quality

연구 동기 및 목표

• 이전의 신경망 기반 이미지 압축 방법에서 기호 할당이 고정되어 있어 모든 이미지 영역을 동일하게 취급하는 한계를 해결하기 위해.
• 간단한 영역에는 적은 기호, 복잡한 영역에는 더 많은 기호를 전송할 수 있도록 적응적 기호 전송을 가능하게 하여 비트레이트를 감소시키고 재구성 품질을 향상시키되, 블록 아티팩트를 유발하지 않기 위해.
• 순환형 및 합성곱 오토인코더가 정지코드 마스킹 및 코드 잘라내기에 강건하도록 하는 학습 방법을 개발하기 위해.
• SCT 아키텍처 설계를 통해 0/1 코드 분포를 극도로 불균형하게 만들어 엔트로피 코딩(예: LZ77)의 효율을 향상시키기 위해.
• 전체 재구성 영역에서 더 균일한 이미지 품질을 달성함으로써 인간의 품질 인식과 상관관계가 있는 요소를 개선하기 위해.

제안 방법

• 두 단계 학습 절차를 도입: 첫 번째 단계는 정지코드를 인위적으로 마스킹하여 잘라낸 상태를 시뮬레이션함으로써 디코더를 학습하여 강건성을 확보한다.
• 두 번째 단계는 이전 반복 주기의 이진 코드에서 자연스럽게 생성된 마스크를 사용하여 표준 재구성 작업을 수행하며, 주요 손실 함수로 활용된다.
• 정지코드 행동은 정지코드를 발행한 후 이를 앞으로 전파하는 마스킹 논리로 강제 적용되어 누락된 기호에 의존하지 않도록 한다.
• 아키텍처는 완전히 합성곱형이며, LSTM 단위와 공간적 다운샘플링을 사용하여 $\frac{H}{16} \times \frac{W}{16}$ 크기의 코드 표현을 생성한다.
• 디코더는 '딥스패티어( depth-to-space)' 샐링을 사용하여 코드 표현을 원래 $H \times W$ 해상도로 복원한다.
• 이 방법은 블록 기반 아티팩트가 흔한 JPEG 또는 WebP와는 달리 완전한 합성곱 구조를 유지한다.

실험 결과

연구 질문

• RQ1 정지코드 마스킹 및 코드 잘라내기 상황에서도 정지코드 내성 학습을 통해 높은 재구성 품질을 유지할 수 있는 순환형 및 합성곱 신경망을 학습시킬 수 있는가?
• RQ2 간단한 이미지 영역에서는 기호를 줄이는 적응적 기호 할당이 품질을 희생시키지 않고도 전체 비트레이트를 낮추는 데 기여하는가?
• RQ3 제안된 두 단계 학습 방법이 재구성 영역 전체에서 이미지 품질의 분산을 줄여 인지적 일관성을 향상시키는가?
• RQ4 SCT 아키텍처는 비-SCT 네트워크에 비해 엔트로피 코딩 효율(예: LZ77)을 어느 정도 향상시키는가?
• RQ5 이 방법은 여러 압축 비트레이트에서 JPEG 및 이전의 RNN 기반 오토인코더보다 더 나은 비율-왜곡 성능을 달성할 수 있는가?

주요 결과

• SCT 방법은 최상의 경우 명목 비트레이트 대비 35%의 비트레이트 감소를 달성했으며, 이 중 30%는 정지코드 잘라내기, 5%는 향상된 LZ77 압축으로 기인한다.
• 0.125 bpp의 명목 비트레이트에서 SCT 재구성은 LZ77 및 정지코드 잘라내기 후 0.115 bpp에 도달했고, 비-SCT는 0.121 bpp에 머물렀다.
• 약 0.75 bpp에서 SCT 재구성은 비-SCT 대비 $L_1$ 타일 오차의 평균이 11% 낮고 표준편차도 11% 낮아, 더 균일한 품질을 보였다.
• Kodak 데이터셋에서 SCT 아키텍처는 JPEG 및 비-SCT RNN 오토인코더보다 모든 압축 비트레이트에서 이미지 품질을 유지하거나 초월한다.
• 이 방법은 초기 학습 단계부터 코드 잘라내기에 강건하도록 네트워크를 학습시킴으로써 블록 아티팩트와 흐림을 줄였으며, 추론 시 보정하는 것과는 다릅니다.
• 두 단계 학습 절차는 정지코드 내성과 표현 능력의 균형을 이룰 수 있는 기호 할당에 수렴하게 하여 강건성과 압축 효율을 모두 향상시켰다.