[논문 리뷰] Compression with Bayesian Implicit Neural Representations

Zongyu Guo, Gergely Flamich외 3명|arXiv (Cornell University)|2023. 05. 30.

Advanced Data Compression Techniques인용 수 6

한 줄 요약

이 논문은 변동형 베이지안 은닉 신경 표현(INRs)을 사용하여 통합 비율-왜곡 최적화를 가능하게 하는 모odal리-무관(neural compression) 방법인 COMBINER를 제안한다. 가중치를 변동형 사후분포에서 샘플링하고 상대 엔트로피 코딩으로 압축함으로써 COMBINER는 직접적으로 $β$-ELBO를 최적화하여, 고비용의 메타학습 루프 없이도 이미지와 오디오에서 뛰어난 성능을 달성한다.

ABSTRACT

Many common types of data can be represented as functions that map coordinates to signal values, such as pixel locations to RGB values in the case of an image. Based on this view, data can be compressed by overfitting a compact neural network to its functional representation and then encoding the network weights. However, most current solutions for this are inefficient, as quantization to low-bit precision substantially degrades the reconstruction quality. To address this issue, we propose overfitting variational Bayesian neural networks to the data and compressing an approximate posterior weight sample using relative entropy coding instead of quantizing and entropy coding it. This strategy enables direct optimization of the rate-distortion performance by minimizing the $β$-ELBO, and target different rate-distortion trade-offs for a given network architecture by adjusting $β$. Moreover, we introduce an iterative algorithm for learning prior weight distributions and employ a progressive refinement process for the variational posterior that significantly enhances performance. Experiments show that our method achieves strong performance on image and audio compression while retaining simplicity.

연구 동기 및 목표

• 고정 정밀도 양자화에 의존하고 종단간 비율-왜곡 최적화를 수행하지 못하는 기존 INR 기반 압축 방법의 성능 격차를 해소하기 위해.
• 변동형 베이지안 추론을 활용하여 은닉 신경 표현에서 비율과 왜곡을 통합 최적화하기 위해.
• 재구성 품질을 훼손하지 않으면서도 압축 효율성을 높이기 위해 적응형 매개변수 프루닝과 활성화를 지원하는 방법을 개발하기 위해.
• INR 압축에서 고정 정밀도 양자화의 한계를 상대 엔트로피 코딩을 통해 극복하기 위해.
• 모달리 특화 아키텍처 튜닝 없이도 이미지와 오디오 데이터에 일반화되는 단순하면서도 효과적인 프레임워크를 설계하기 위해.

제안 방법

• 데이터에 대해 INR 가중치에 대한 변동형 사후분포 $q_{\mathbf{w}}$를 피팅하여 점 추정치를 확률적 표현으로 대체하기.
• 샘플된 가중치 벡터 $\mathbf{w}^* \sim q_{\mathbf{w}}$를 상대 엔트로피 코딩(REC)으로 압축하며, 그 기대 비용은 KL 발산 $D_{\mathrm{KL}}[q_{\mathbf{w}}\|p_{\mathbf{w}}]$를 근사한다.
• $\beta$를 조정하여 비율-왜곡 트레이드오프를 직접 최적화하기 위해 $\beta$-ELBO 목적함수를 최소화하기.
• 네트워크 가중치에 대한 최적의 사전분포 $p_{\mathbf{w}}$를 학습하기 위한 반복 알고리즘을 제안하여 사후분포 품질을 향상시키기.
• 블록으로 나누어 가중치를 압축하고 단계적으로 미세조정하는 점진적 정밀화 전략을 구현하여 사후분포 정확도를 향상시키기.
• 각 블록이 인코딩된 후 남은 압축되지 않은 가중치에 대해 경량 경사하강법을 사용해 사후분포를 개선함으로써 전체 재구성 정밀도를 향상시키기.

실험 결과

연구 질문

• RQ1 고정 정밀도 양자화에 비해 변동형 베이지안 추론이 INR 기반 압축에서 비율-왜곡 성능을 향상시키는가?
• RQ2 INR 가중치에 대한 사전분포 학습이 압축 성능과 다양한 데이터 모달리에 대한 일반화에 어떤 영향을 미치는가?
• RQ3 변동형 사후분포의 점진적 정밀화가 재구성 품질과 비율-왜곡 트레이드오프에 얼마나 기여하는가?
• RQ4 모달리 특화 설계 없이도 단순하고 종단간 훈련 가능한 INR 기반 압축 프레임워크가 복잡한 메타학습 기반 베이스라인을 능가할 수 있는가?
• RQ5 반복적 사후분포 개선과 사전분포 학습이 이미지 및 오디오 압축에서 PSNR와 비트레이트 효율성에 어떤 영향을 미치는가?

주요 결과

• COMBINER는 단순성에도 불구하고 CIFAR-10, Kodak, LibriSpeech 데이터셋에서 기존 INR 기반 방법들을 능가하는 뛰어난 압축 성능을 달성한다.
• 점진적 정밀화와 반복적 사전분포 학습 기법은 저해상도 이미지 압축 작업에서 PSNR를 4 dB 이상 향상시킨다.
• 1개의 A100 GPU에서 500장의 CIFAR-10 이미지를 압축하는 데에는 비트레이트에 따라 13~34분이 소요되며, 대부분의 시간은 사후분포 추론과 미세조정에 사용된다.
• 디코딩은 매우 효율적이다: GPU에서 단일 CIFAR-10 이미지 재구성에 2~4ms가 소요되며, CPU에서 Kodak 이미지 재구성은 1초 이내이다.
• 3,000단계 이상의 미세조정은 성능 향상가 줄어들며, 30,000단계는 3,000단계 대비 PSNR를 0.3 dB 뿐 향상시키지만 시간은 90% 증가시킨다.
• 최첨단 INR 코덱에서 사용되는 메타학습 루프가 필요 없어졌으며, 데이터 청크화 없이 전체 이미지 및 전체 오디오 INR 훈련이 가능해졌다.