[논문 리뷰] CBANet: Towards Complexity and Bitrate Adaptive Deep Image Compression using a Single Network

Jinyang Guo, Dong Xu외 1명|arXiv (Cornell University)|2021. 05. 26.

Advanced Data Compression Techniques참고 문헌 35인용 수 6

한 줄 요약

이 논문은 다양한 비트레이트와 계산 복잡도에서 적응형 이미지 압축을 가능하게 하는 단일 딥 네트워크인 CBANet을 제안한다. 다중 브랜치 복잡도 적응 모듈과 비트레이트 적응형 투영 모듈을 통합함으로써, 재학습 없이도 변동하는 비트레이트 복잡도 제약 조건을 지원하며, 저장 비용 증가 없이도 이전 방법 대비 최대 0.13 dB의 PSNR 향상을 달성한다.

ABSTRACT

In this paper, we propose a new deep image compression framework called Complexity and Bitrate Adaptive Network (CBANet), which aims to learn one single network to support variable bitrate coding under different computational complexity constraints. In contrast to the existing state-of-the-art learning based image compression frameworks that only consider the rate-distortion trade-off without introducing any constraint related to the computational complexity, our CBANet considers the trade-off between the rate and distortion under dynamic computational complexity constraints. Specifically, to decode the images with one single decoder under various computational complexity constraints, we propose a new multi-branch complexity adaptive module, in which each branch only takes a small portion of the computational budget of the decoder. The reconstructed images with different visual qualities can be readily generated by using different numbers of branches. Furthermore, to achieve variable bitrate decoding with one single decoder, we propose a bitrate adaptive module to project the representation from a base bitrate to the expected representation at a target bitrate for transmission. Then it will project the transmitted representation at the target bitrate back to that at the base bitrate for the decoding process. The proposed bit adaptive module can significantly reduce the storage requirement for deployment platforms. As a result, our CBANet enables one single codec to support multiple bitrate decoding under various computational complexity constraints. Comprehensive experiments on two benchmark datasets demonstrate the effectiveness of our CBANet for deep image compression.

연구 동기 및 목표

• 다양한 컴퓨팅 예산과 대역폭 제약 조건을 가진 다양한 플랫폼에 학습 기반 이미지 코덱을 구현하는 데 도전하는 것.
• 다양한 비트레이트와 계산 복잡도 수준을 지원하기 위해 여러 디코더가 필요 없도록 하나의 단일 모델로 구현하는 것.
• 다양한 비트레이트와 복잡도 수준에 대응하는 여러 모델을 저장할 필요 없이 실세계 구현에서 저장 오버헤드를 줄이는 것.
• 단일 통합 네트워크 아키텍처에서 복합적인 비율-왜곡-복잡도 최적화를 달성하는 것.

제안 방법

• 각 브랜치가 계산 예산의 소량을 차지하는 다중 브랜치 복잡도 적응 모듈(CAM)을 도입하여, 활성화되는 브랜치의 수를 조절해 가변적인 시각적 품질을 구현한다.
• 기본 비트레이트에서 목표 비트레이트로의 표현을 투영하기 위해 소규모 CNN을 사용하는 비트레이트 적응 모듈(BAM)을 활용한다.
• 디코딩 중에 목표 비트레이트에서의 표현을 기본 비트레이트로 다시 투영함으로써, 하나의 디코더로 모든 비트레이트에서 일관된 복원을 가능하게 한다.
• 학습 중에 비율-왜곡-복잡도 최적화를 적용하여 비율, 왜곡, 계산 비용을 동시에 균형 잡는다.
• 기본 모델을 한 번만 학습하고 BAM을 활용해 추가적인 최소한의 학습으로 새로운 비트레이트를 지원한다.
• 메인 디코더 아키텍처를 수정하지 않고도 BAM을 통해 비트레이트 간 표현을 이동시킨다.

실험 결과

연구 질문

• RQ1 동적 계산 복잡도 제약 조건 하에서 단일 딥 네트워크가 다양한 비트레이트 이미지 압축을 지원할 수 있는가?
• RQ2 재학습 없이도 여러 비트레이트를 처리할 수 있는 단일 디코더는 어떻게 설계할 수 있는가?
• RQ3 통합 프레임워크 내에서 비율, 왜곡, 계산 복잡도 간의 성능 트레이드오���은 어떠한가?
• RQ4 품질과 저장 비용에 미치는 영향을 최소화하면서 비트레이트 간 표현을 투영하기 위해 경량 모듈을 사용할 수 있는가?

주요 결과

• CBANet-AR-100%는 최고의 계산 복잡도 수준에서 기준 방법 [3] 대비 0.13 dB의 PSNR 향상을 달성한다.
• CBANet-AR-50%는 계산 비용을 낮춘 상태에서 기준 방법 대비 0.10 dB의 PSNR 향상을 기록한다.
• 비트레이트 적응 모듈(BAM)은 총 FLOPs의 0.42%만을 차지하여 최소한의 계산 오버헤드를 보여준다.
• CBANet-HP-25%는 300,000회의 학습 반복(전체 3,000,000회 대비 10배 적은 수)으로부터 출발해 학습을 처음부터 수행한 경우와 유사한 성능을 달성한다.
• BAM 덕분에 저장 비용이 극도로 낮아지며, 비트레이트에 맞는 모델을 여러 개 저장할 필요가 없다.
• Kodak 및 CLIC 데이터셋에서의 실험을 통해 다양한 비트레이트와 복잡도 수준에서 일관된 성능 향상이 확인되었다.