[논문 리뷰] G-VAE: A Continuously Variable Rate Deep Image Compression Framework

Ze Cui, Jing Wang외 3명|arXiv (Cornell University)|2020. 03. 04.

Advanced Data Compression Techniques참고 문헌 30인용 수 26

한 줄 요약

G-VAE는 인코더 출력부와 디코더 입력부에 각각 두 개의 게인 유닛을 추가함으로써 단일 모델 내에서 연속적으로 가변 비트레이트 압축을 가능하게 하는 새로운 딥 이미지 압축 프레임워크입니다. 이 최소한의 수정은 기존 모델의 성능을 유지하면서도 압축 효율성을 극고로 높이며, Kodak 데이터셋에서 PSNR 및 MS-SSIM 측면에서 이전 방법들을 능가합니다. 계산 및 파rameter 오 overhead 는 극히 미미합니다.

ABSTRACT

Rate adaption of deep image compression in a single model will become one of the decisive factors competing with the classical image compression codecs. However, until now, there is no perfect solution that neither increases the computation nor affects the compression performance. In this paper, we propose a novel image compression framework G-VAE (Gained Variational Autoencoder), which could achieve continuously variable rate in a single model. Unlike the previous solutions that encode progressively or change the internal unit of the network, G-VAE only adds a pair of gain units at the output of encoder and the input of decoder. It is so concise that G-VAE could be applied to almost all the image compression methods and achieve continuously variable rate with negligible additional parameters and computation. We also propose a new deep image compression framework, which outperforms all the published results on Kodak datasets in PSNR and MS-SSIM metrics. Experimental results show that adding a pair of gain units will not affect the performance of the basic models while endowing them with continuously variable rate.

연구 동기 및 목표

• 계산 비용 증가 없이 성능 저하 없이 딥 이미지 압축에서 비트레이트 적응 문제를 해결한다.
• 단일 훈련된 모델을 통해 연속적으로 가변 비트레이트를 지원하는 통합 프레임워크를 개발한다.
• 기존 딥 압축 모델과의 광범위한 호환성을 확보하기 위해 아키텍처 수정을 최소화한다.
• Kodak와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 압축 효율성을 희생하지 않는다.
• 비트레이트 제어가 유연한 동적 네트워크 환경에서 딥 압축의 실용적 구현을 가능하게 한다.

제안 방법

• 인코더 출력부와 디코더 입력부에 각각 학습 가능한 게인 유닛 한 쌍을 도입하여 연속적인 비트레이트 제어를 가능하게 한다.
• 게인 유닛을 사용해 인코딩 및 디코딩 중 잠재 표현을 스케일링함으로써 부드러운 비트레이트 조절을 가능하게 한다.
• 표준 변동 자동인식기(Variational Autoencoder) 목적함수를 사용해 전체 프레임워크를 엔드 투 엔드로 훈련하며, 원래 모델의 아키텍처를 유지한다.
• 게인 유닛이 미분 가능하도록 보장하여 훈련 중 기울기 기반 최적화를 가능하게 한다.
• 기존 딥 압축 모델에 최소한의 아키텍처 변경으로 적용하고, 파rameter 증가량을 극히 미미하게 유지한다.
• 기존 모델의 압축 성능을 유지하면서도 가변 비트레이트 압축 기능을 추가한다.

실험 결과

연구 질문

• RQ1 최소한의 아키텍처 수정이 딥 인코더에서 연속적으로 가변 비트레이트 압축을 가능하게 할 수 있는가?
• RQ2 게인 유닛을 추가함으로써 기본 모델의 압축 성능에 영향을 미치는가?
• RQ3 제안된 프레임워크가 Kodak와 같은 표준 벤치마크에서 기존 최신 기술 수준의 방법들을 능가할 수 있는가?
• RQ4 기존 모델에 게인 유닛을 통합할 경우 계산 및 파rameter 오 overhead 는 어느 정도인가?
• RQ5 프레임워크는 광범위한 비트레이트 범위에서 어떻게 성능을 유지하는가?

주요 결과

• G-VAE는 모델당 단 두 개의 추가 학습 가능한 파rameter만으로 연속적으로 가변 비트레이트 이미지 압축을 가능하게 한다.
• 게인 유닛 추가로 인해 기존 모델의 어떤 비트레이트에서도 압축 성능이 저하되지 않는다.
• 프레임워크는 Kodak 데이터셋에서 최신 기술 수준의 성능을 달성하여 PSNR 및 MS-SSIM 모두에서 모든 발표된 방법들을 능가한다.
• 계산 및 파rameter 오 overhead 가 극히 미미하여 실세계 적용에 적합하다.
• 게인 유닛 덕분에 복수의 모델이나 점진적 인코딩 단계가 필요 없이 부드러운 비트레이트 적응이 가능하다.
• 프레임워크는 다양한 기존 딥 이미지 압축 아키텍처와 호환된다.