[논문 리뷰] CAE-ADMM: Implicit Bitrate Optimization via ADMM-based Pruning in Compressive Autoencoders

Haimeng Zhao, Peiyuan Liao|arXiv (Cornell University)|2019. 01. 22.

Image and Signal Denoising Methods참고 문헌 13인용 수 4

한 줄 요약

CAE-ADMM는 전통적인 엔트로피 추정 대신 ADMM 기반의 프루닝을 사용하여 잠재 코드의 희소성 유도를 통해 비트레이트를 암묵적으로 최적화하는 새로운 손실 압축 방법을 제안한다. 이 방법은 기존 CAE 및 JPEG, JPEG 2000와 같은 전통적 코덱에 비해 더 뛰어난 SSIM 및 MS-SSIM 성능을 달성하며, 경쟁 가능한 추론 속도를 유지하고, 프루닝 후 잠재 표현에서 17.65%의 영소수 비율을 기록한다.

ABSTRACT

We introduce ADMM-pruned Compressive AutoEncoder (CAE-ADMM) that uses Alternative Direction Method of Multipliers (ADMM) to optimize the trade-off between distortion and efficiency of lossy image compression. Specifically, ADMM in our method is to promote sparsity to implicitly optimize the bitrate, different from entropy estimators used in the previous research. The experiments on public datasets show that our method outperforms the original CAE and some traditional codecs in terms of SSIM/MS-SSIM metrics, at reasonable inference speed.

연구 동기 및 목표

• 딥 러닝 기반의 손실 압축에서 비트레이트의 비가역성 문제를 해결하기 위해 엔트로피 추정 대신 희소성 유도 기반의 대체 방법을 도입한다.
• 매개변수화된 엔트로피 추정기나 복잡한 문맥 모델에 의존하지 않고도 압축 효율성과 재구성 품질을 향상시키는 것을 목표로 한다.
• ADMM 기반의 프루닝이 엔트로피 레이트를 암묵적으로 최적화하면서도 인지적 이미지 품질을 유지하거나 향상시킬 수 있는지 탐색한다.
• 기존 코덱과 원본 CAE에 비해 구조적 유사도 지표에서 경쟁력을 유지하면서도 빠른 추론 속도를 확보한다.

제안 방법

• 이 방법은 컨volutional 레이어와 업샘플링을 위한 서브픽셀 디컨볼루션을 사용하는 인코더-디코더 아키텍처를 채택하며, $ Q(t) = \big\rfloor t \big\rfloor + \text{Bernoulli}(t - \big\rfloor t \big\rfloor) $로 정의된 미분 가능한 양자화기 사용.
• 엔트로피 추정기 대신, 양자화된 잠재 코드 $ \tilde{\mathbf{z}} $ 에서 희소성을 강제하는 ADMM 기반의 프루닝을 통해 비트레이트를 암묵적으로 최적화한다.
• 최적화 문제는 왜곡과 잠재 코드의 카디널리티에 대한 페널티, $ R(\tilde{\mathbf{z}}) = \text{card}(\tilde{\mathbf{z}}) $, 를 최소화하는 방식으로 설정되며, ADMM 프레임워크를 통해 해결된다.
• ADMM 모듈은 잠재 코드, 이중 변수, 슬랙 변수를 번갈아 업데이트하여 희소성을 유지하면서도 재구성 정밀도를 확보한다.
• 두 단계의 훈련 스케줄을 사용한다: 먼저 MSE 손실만을 사용하는 웜업 단계를 거치고, 이후 프루닝 단계에서 가장 작은 크기의 10% 요소를 0으로 설정한다.
• 최종 인코더 레이어를 수정하여 유지할 요소 수를 조절함으로써 비트레이트에 대한 세밀한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 ADMM 기반의 프루닝이 딥 러닝 기반의 이미지 압축에서 엔트로피 추정을 효과적으로 대체할 수 있는가? 이는 비트레이트-왜곡 성능을 유지하거나 향상시키는가?
• RQ2 프루닝을 통한 잠재 코드의 희소성 유도가 엔트로피 레이트를 암묵적으로 최적화하여 명시적인 모델링 없이도 비트레이트를 감소시키는가?
• RQ3 동일한 비트레이트에서 CAE-ADMM의 SSIM 및 MS-SSIM 성능은 원본 CAE 및 전통적 코덱(JPEG, JPEG 2000)과 비교해 어떻게 되는가?
• RQ4 프루닝 과정이 잠재 코드의 비영소 요소 분포에 어떤 영향을 미치며, 이는 압축 효율성 향상과 관련이 있는가?
• RQ5 CAE-ADMM의 추론 속도는 전통적 코덱 대비 어떻게 되며, 저비트레이트에서도 높은 품질을 유지할 수 있는가?

주요 결과

• CAE-ADMM는 Kodak PhotoCD 데이터셋에서 원본 CAE 및 전통적 코덱보다 SSIM 및 MS-SSIM 성능에서 뛰어나며, 프루닝 후 잠재 코드에서 17.65%의 영소수 비율을 기록한다.
• 약 0.3 bpp의 목표 비트레이트에서 CAE-ADMM는 높은 품질의 재구성을 유지하지만, JPEG는 심각하게 품질이 떨어지며, 저비트레이트에서의 강건성을 입증한다.
• 0.597 bpp에서 평균 SSIM은 $ 0.871 \pm 0.003 $ 으로, JPEG($ 0.828 \pm 0.006 $) 및 JPEG 2000($ 0.793 \pm 0.013 $)보다 인지적 품질에서 뛰어나다.
• CAE-ADMM의 추론 속도는 이미지당 $ 0.140 \pm 0.008 $ 초이며, 이는 JPEG(0.033 s) 및 JPEG 2000(0.177 s)와 비교해 타당하고 유사한 수준이다.
• 절단 실험 결과 ADMM 프루닝 모듈이 성능 향상에 기여했음을 확인하였으며, 영소수 비율이 7.80%에서 17.65%로 증가하고 비트레이트는 1.684에서 1.257 bpp로 감소하였다.
• 이미지 kodim21의 시각적 비교 결과, 저비트레이트에서 CAE-ADMM는 JPEG 및 JPEG 2000보다 더 잘 세부 정보를 유지하며, 블록 아티팩트도 최소화한다.