[논문 리뷰] Slimmable Compressive Autoencoders for Practical Neural Image Compression

Fei Yang, Luis Herranz외 2명|arXiv (Cornell University)|2021. 03. 29.

Advanced Data Compression Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 훈련 가능한 너비 조절이 가능한 인코더 및 디코더 네트워크를 통해 동적 비트 전달률-왜곡 균형과 변동 가능한 계산 복잡도를 가능하게 하는 통합 신경망 이미지 압축 프레임워크인 슬림멀러블 압축 오토에인코더(SlimCAE)를 제안한다. 새로운 $λ$-스케줄링 훈련 전략을 통해 각 네트워크 너비에 대해 별도의 비트 전달률-왜곡 목표를 최적화함으로써, SlimCAE는 최신 기술 수준의 비트 전달률-왜곡 성능을 달성하면서도 메모리, FLOPs, 지연 시간을 실시간으로 조정할 수 있다. 이는 자원이 제한된 장치에 매우 실용적인 솔루션이다.

ABSTRACT

Neural image compression leverages deep neural networks to outperform traditional image codecs in rate-distortion performance. However, the resulting models are also heavy, computationally demanding and generally optimized for a single rate, limiting their practical use. Focusing on practical image compression, we propose slimmable compressive autoencoders (SlimCAEs), where rate (R) and distortion (D) are jointly optimized for different capacities. Once trained, encoders and decoders can be executed at different capacities, leading to different rates and complexities. We show that a successful implementation of SlimCAEs requires suitable capacity-specific RD tradeoffs. Our experiments show that SlimCAEs are highly flexible models that provide excellent rate-distortion performance, variable rate, and dynamic adjustment of memory, computational cost and latency, thus addressing the main requirements of practical image compression.

연구 동기 및 목표

• 기존 신경 이미지 압축 모델의 실용적 한계를 해결한다. 이는 계산 비용이 높고 단일 비트 전달률에 최적화되어 있으며, 동적 적응성이 결여되어 있다.
• 다양한 네트워크 용량(즉, 서로 다른 너비)에서 비트 전달률과 왜곡을 동시에 최적화하여 하나의 모델로 다중 비트 전달률 및 다양한 계산 복잡도 작동을 지원한다.
• 각 네트워크 너비가 서로 다른 비트 전달률-왜곡 균형을 요구하는 바람에, 단순히 넓이를 조절한 네트워크를 훈련할 경우 성능이 열 劣화되는 문제를 해결하기 위해 용량 인식 훈련 전략을 도입하여 각 너비에 대해 별도의 비트 전달률-왜곡 목표를 할당한다.
• 효율적이고 확장 가능한 추론을 지원하기 위해 일반화된 나눗셈 정규화(GDN) 레이어와 엔트로피 모델을 포함한 새로운 슬림멀러블 구성 요소를 설계한다.
• SlimCAE에서 스케일러블 비트스트림을 생성할 수 있음을 입증함과 동시에 동적 복잡도 제어의 핵심 이점을 유지한다.

제안 방법

• 훈련 후에 네트워크 너비를 동적으로 조절하여 비트 전달률, 메모리, 계산 비용을 제어할 수 있는 슬림멀러블 압축 오토에인코더(SlimCAE) 프레임워크를 제안한다.
• 모델 전체를 훈련하고 각 네트워크 너비에 대해 $λ$ 하이퍼파rameter를 조정하는 $λ$-스케줄링 알고리즘을 도입하여, 각 너비가 자체의 비트 전달률-왜곡 균형을 최적화하도록 보장한다.
• 다양한 채널 너비에서 비선형성과 압축 효율성을 유지하는 슬림멀러블 GDN 레이어를 설계하여 용량 스케일링을 부드럽게 구현한다.
• 조건부 컨볼루션과 순차적 맥락 모델링을 활용한 슬림멀러블 엔트로피 모델을 개발하여, 최소한의 성능 손실로 다중 비트 전달률 엔트로피 코딩을 가능하게 한다.
• 왜곡(MSE 또는 MS-SSIM)과 비트 전달률(교차 엔트로피)을 조합한 하이브리드 손실을 사용하여 종합적으로 모델을 훈련하고, 각 너비에 맞는 $λ$ 값으로 균형을 맞춘다.
• 채널 그룹을 별도로 인코딩하여 스케일러블 비트스트림 생성을 가능하게 하며, 기본 스트림과 향상 스트림 복원이 가능하게 하면서 메인 모델과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 단일 신경 이미지 압축 모델이 비트 전달률, 메모리 프로파일, 계산 비용을 동적으로 조절할 수 있는가?
• RQ2 각 네트워크 너비가 서로 다른 비트 전달률-왜곡 균형을 요구하는 바람에, 슬림멀러블 신경망을 압축 오토에인코더에 효과적으로 훈련시키는 방법은 무엇인가?
• RQ3 용량별 최적화가 너비 간 공통 최적화와 비교해 비트 전달률-왜곡 성능에 어떤 영향을 미치는가?
• RQ4 GDN, 엔트로피 모델과 같은 슬림멀러블 구성 요소를 설계하여 다양한 너비에서 높은 압축 효율성을 유지할 수 있는가?
• RQ5 SlimCAE는 동적 복잡도 제어와 비트 전달률-왜곡 성능을 유지하면서 얼마나 잘 스케일러블 비트스트림을 생성할 수 있는가?

주요 결과

• SlimCAE는 Kodak 및 Tecnick 데이터셋에서 최신 기술 수준의 비트 전달률-왜곡 성능을 달성하였으며, MS-SSIM 최적화 시 BPG 대비 최대 -47.88%의 BD-rate 향상을 기록했다.
• 모델의 메모리 프로파일은 너비에 따라 27.1 MB에서 62.5 MB로 변동하며, 다수의 CAE(42.9–78.3 MB)보다 현저히 낮고 단일 모델과 유사한 수준이다.
• 네트워크 너비 조절을 통해 FLOPs와 지연 시간을 동적으로 감소시켜 자원이 제한된 장치에 효율적으로 구현할 수 있다.
• $λ$-스케줄링 훈련 방법을 통해 각 너비가 최적의 비트 전달률-왜곡 균형을 달성하였으며, Kodak에서 단순 공동 훈련 대비 최대 9.52 dB의 PSNR 향상을 기록했다.
• 슬림멀러블 엔트로피 모델은 성능 손실가 최소한으로(예: -6.17% BD-rate) 유지하면서도 다중 비트 전달률 및 스케일러블 비트스트림 생성을 가능하게 하였다.
• 이 프레임워크는 동적 복잡도 스케일링과 스케일러블 비트스트림 생성을 동시에 지원하여 이질적인 네트워크와 적응형 스트리밍 환경에 적합하다.