[논문 리뷰] Computationally Efficient Neural Image Compression

Nick Johnston, Elad Eban외 2명|arXiv (Cornell University)|2019. 12. 18.

Image and Signal Denoising Methods참고 문헌 22인용 수 22

한 줄 요약

이 논문은 상태최고 수준의 신경 이미지 압축 모델에서 디코더 실행 시간을 50% 이상 감소시키면서도 비율-왜곡 성능을 훼손하지 않도록 하는 계산적으로 효율적인 신경 이미지 압축(CENIC) 방법을 제안한다. 이는 FLOP-정규화된 아키텍처 탐색, MorphNet를 활용한 GDN 활성화 함수 단순화, 그리고 MS-SSIM 및 MSE 손실 함수에 대한 대상 최적화를 통해 달성되며, MS-SSIM 최적화 모델이 계산적으로 가속화하기 더 용이하다는 점을 입증한다.

ABSTRACT

Image compression using neural networks have reached or exceeded non-neural methods (such as JPEG, WebP, BPG). While these networks are state of the art in ratedistortion performance, computational feasibility of these models remains a challenge. We apply automatic network optimization techniques to reduce the computational complexity of a popular architecture used in neural image compression, analyze the decoder complexity in execution runtime and explore the trade-offs between two distortion metrics, rate-distortion performance and run-time performance to design and research more computationally efficient neural image compression. We find that our method decreases the decoder run-time requirements by over 50% for a stateof-the-art neural architecture.

연구 동기 및 목표

• 스마트폰과 같은 자원이 제한된 장치에서 신경 이미지 압축 디코더의 높은 계산 비용을 해결하기 위해.
• 신경 이미지 압축 모델에서 비율-왜곡 성능과 디코더 실행 시간 간의 상호 상충 관계를 조사하기 위해.
• 자동화된 아키텍처 탐색과 정규화를 활용한 계산적으로 효율적인 신경 이미지 압축 아키텍처 설계의 체계적 방법을 개발하기 위해.
• 다양한 왜곡 지표(MSE 대비 MS-SSIM)가 계산 최적화된 모델의 실현 가능성과 성능에 미치는 영향을 분석하기 위해.
• 실세계의 저지연 환경에서 신경 이미지 압축을 구현하기 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• FLOPs 기반으로 네트워크 아키텍처를 정규화하기 위해, 미분 가능 아키텍처 탐색 기법인 MorphNet을 적용하여 불필요한 채널을 자동으로 제거함으로써 계산량을 감소시켰다.
• 일반화된 나눗셈 정규화(GDN) 활성화 함수를 단순화하기 위해 α_ij 및 ε_i 파라미터를 고정함으로써 디코딩 중 계산 오버헤드를 감소시켰으며, 성능 손실는 거의 없었다.
• 채널 차원에서 희박성(sparsity)을 유도하기 위해 그룹 랜스오라 정규화를 사용해 모델을 훈련시켜 더 작고 빠른 아키텍처를 도출했다.
• 디코더 복잡도를 고립하고 분석하기 위해, 문맥 모델이 없는 기본 Mean-Scale Hyperprior 아키텍처를 사용했다.
• CPU 및 GPU 실행 시간을 비교하여 플랫폼에 따른 성능과 추론 파이프라인 내 버티브 블록을 파악했다.
• 비율-왜곡 성능 평가를 위해 여러 왜곡 지표(PSNR, MS-SSIM)와 비트레이트를 기반으로 성능 상호 관계를 평가했다.

실험 결과

연구 질문

• RQ1 비율-왜곡 성능을 저하시키지 않으면서 신경 이미지 압축 모델의 계산 효율성을 크게 향상시킬 수 있는 방법은 무엇인가?
• RQ2 다른 왜곡 지표(MSE 대비 MS-SSIM)를 사용할 경우, 계산 최적화된 모델의 실현 가능성과 성능에 어떤 영향을 미치는가?
• RQ3 MorphNet과 같은 자동 아키텍처 탐색 기법이 고성능 압축 품질을 유지하면서도 디코더 실행 시간을 효과적으로 줄일 수 있는가?
• RQ4 GDN과 같은 활성화 함수의 단순화가 신경 이미지 압축에서 추론 속도와 성능에 어떤 영향을 미치는가?
• RQ5 CPU와 GPU 플랫폼 간의 신경 디코더에서 실행 시간 행동에 있어 주요 차이점은 무엇인가?

주요 결과

• CENIC 방법은 최신 상태의 신경 이미지 압축 아키텍처에서 디코더 실행 시간을 50% 이상 감소시켜 실용적 구현 가능성을 크게 향상시켰다.
• MS-SSIM 최적화 모델은 특히 고비트레이트에서 MSE 최적화 모델보다 계산 효율성 향상에 더 용이한 것으로 밝혀졌다.
• α_ij 및 ε_i 파라미터를 고정함으로써 GDN 활성화 함수를 단순화한 결과, 성능 손실 없이 디코딩 시간이 감소했다.
• Mean-Scale 모델은 GPU에서 62ms로 CPU의 230ms 대비 3.7배 빠른 속도를 기록하여 하드웨어 및 구현 방식이 실행 시간 평가에 중요한 영향을 미친다는 점을 입증했다.
• MorphNet를 통한 FLOP-정규화된 아키텍처 탐색은 효율적인 아키텍처를 발견하는 데 효과적이었으며, 정규화 없이 층 용량을 증가시켜도 비율-왜곡 성능 향상이 없었다.
• MS-SSIM 최적화는 MSE 최적화 모델 대비 CPU 및 GPU 플랫폼에서 더 일관되고 변동성이 낮은 디코딩 시간을 제공했다.