[논문 리뷰] Block-optimized Variable Bit Rate Neural Image Compression

Çağlar Aytekin, Xingyang Ni외 4명|arXiv (Cornell University)|2018. 05. 28.

Advanced Data Compression Techniques인용 수 5

한 줄 요약

이 논문은 여러 네트워크, 엔트로피 友화 손실, 추론 단계 코드 최적화를 사용하는 엔드 투 엔드 학습된 오토인코더를 활용한 블록 최적화, 가변 비트레이트 신경 이미지 압축 시스템을 제안한다. 테스트 세트에서 0.148 bpp에서 27.92 PSNR를 달성하여 BPG와 JPEG를 능가하며, 정밀하게 캘리브레이션된 인코더와 L2 정규화된 디코더를 통해 블록 단위로 가변 비트레이트를 구현한다.

ABSTRACT

In this work, we propose an end-to-end block-based auto-encoder system for image compression. We introduce novel contributions to neural-network based image compression, mainly in achieving binarization simulation, variable bit rates with multiple networks, entropy-friendly representations, inference-stage code optimization and performance-improving normalization layers in the auto-encoder. We evaluate and show the incremental performance increase of each of our contributions.

연구 동기 및 목표

• 기존 코덱에 의존하지 않고 블록 기반의 엔드 투 엔드 신경 이미지 압축 시스템을 개발하여 가변 비트레이트를 지원한다.
• L2 정규화 및 엔트로피 친화적 손실과 같은 새로운 아키텍처 구성 요소를 통해 압축 효율성과 복원 품질을 향상시킨다.
• 다중 전문화된 네트워크와 추론 단계 코드 최적화를 통해 이미지 블록 단위로 적응형 비트레이트 인코딩을 가능하게 한다.
• 신경 압축에서 양자화의 비가역성 문제를 해결하기 위해 간격 유지 이진화 노이즈와 교대 학습을 도입한다.
• 전문가 네트워크 미세조정 및 디블로킹 후처리를 통해 성능을 향상시킨다.

제안 방법

• 모든 블록에 고정된 차원의 블록 코드를 생성하기 위해 다섯 단계의 다운샘플링 컨볼루션 블록과 1x1 시그모이드 활성화 최종 레이어를 갖는 완전 컨volutional 오토인코더를 사용한다.
• 디코더는 학습 안정성 향상과 표현의 밀도 향상을 위해 L2 정규화 레이어로 시작하며, PReLU 활성화를 갖는 다섯 단계의 디컨볼루션 블록으로 구성된다.
• 다양한 코드 길이(인코딩 차원)를 갖는 여러 네트워크를 사용하여 가변 비트레이트 인코딩을 가능하게 하며, 블록당 목표 PSNR를 충족하는 최저 비트레이트 네트워크를 선택한다.
• 추론 단계에서 블록 단위로 코드 최적화를 수행하며, 선택된 네트워크의 인코더만 미세조정하고 디코더 가중치는 동결한다.
• 정규화 항(λ=0.001)이 포함된 엔트로피 친화적 손실은 압축 가능한 코드 표현을 장려하여 엔트로피 코딩 효율을 향상시킨다.
• 디코딩 후 블로킹 아티팩트를 억제하고 시각적 품질을 향상시키기 위해 U-Net 유사 디블로킹 필터를 적용한다.

실험 결과

연구 질문

• RQ1 디코더에서 L2 정규화는 신경 이미지 압축에서 학습 및 추론 성능에 어떻게 기여하는가?
• RQ2 간격 유지 이진화 노이즈는 학습 중에 양자화를 얼마나 잘 근사하는가?
• RQ3 다양한 코드 길이를 갖는 여러 네트워크는 블록 기반 시스템에서 효과적인 가변 비트레이트 인코딩을 가능하게 하는가?
• RQ4 블록 단위로 추론 단계에서 코드 최적화를 수행하면 최종 PSNR와 비트레이트에 어떤 영향을 미치는가?
• RQ5 엔트로피 친화적 손실, 전문가 미세조정, 디블로킹의 병합 효과는 전체 압축 성능에 어떤 영향을 미치는가?

주요 결과

• 모델 전체는 검증 세트에서 비트레이트 0.151 bpp에서 27.055 PSNR를 달성하며, 모든 구성 요소를 단계적으로 적용한 후 28.929 PSNR로 향상된다.
• 엔트로피 친화적 손실은 PSNR 약간 감소에도 불구하고 비트레이트를 0.216 bpp에서 0.151 bpp로 감소시켜 뚜렷한 압축 성능 향상을 이룬다.
• L2 정규화는 비정규화 모델과 동일한 성능를 달성하지만, 파rameter 수를 20개 줄여(216 vs 236) 학습 속도와 모델 크기 향상을 이룬다.
• 블록 단위 코드 최적화로 PSNR는 28.088에서 28.929로 상승하여 최종 테스트 세트 PSNR는 0.148 bpp에서 27.920으로 향상되었으며, BPG(0.148 bpp에서 29.587 PSNR)보다 시각적 품질과 효율성 면에서 뛰어나다.
• 디블로킹 후처리는 이전 모델 대비 0.296 dB의 PSNR 향상을 기여하여 시각적 품질을 크게 향상시킨다.
• 최종 모델은 테스트 세트에서 0.148 bpp에서 27.920 PSNR를 달성하여, JPEG(0.149 bpp에서 25.612 PSNR)를 뛰어나며, 비트레이트는 BPG와 유사하지만 더 높은 품질을 제공한다.