[논문 리뷰] Computationally-Efficient Neural Image Compression with Shallow Decoders

Yibo Yang, Stephan Mandt|arXiv (Cornell University)|2023. 04. 13.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 JPEG와 유사한 구조를 띤 얕거나 선형의 합성(디코딩) 변환을 사용하는 계산 효율적인 신경 이미지 압축 방법을 제안하며, 디코딩 시 50K FLOPs/pixel 미만에서 최신 기준의 비율-왜곡 성능을 달성한다—기존 표준 기반 대비 디코딩 복잡도를 80% 이상 감소시키며, 강력한 반복적 인코딩과 강력한 하이퍼프리어를 활용한다.

ABSTRACT

Neural image compression methods have seen increasingly strong performance in recent years. However, they suffer orders of magnitude higher computational complexity compared to traditional codecs, which hinders their real-world deployment. This paper takes a step forward towards closing this gap in decoding complexity by using a shallow or even linear decoding transform resembling that of JPEG. To compensate for the resulting drop in compression performance, we exploit the often asymmetrical computation budget between encoding and decoding, by adopting more powerful encoder networks and iterative encoding. We theoretically formalize the intuition behind, and our experimental results establish a new frontier in the trade-off between rate-distortion and decoding complexity for neural image compression. Specifically, we achieve rate-distortion performance competitive with the established mean-scale hyperprior architecture of Minnen et al. (2018) at less than 50K decoding FLOPs/pixel, reducing the baseline's overall decoding complexity by 80%, or over 90% for the synthesis transform alone. Our code can be found at https://github.com/mandt-lab/shallow-ntc.

연구 동기 및 목표

• 강력한 비율-왜곡 성능를 보이지만 실세계 적용을 저해하는 신경 이미지 압축의 높은 디코딩 복잡도를 해결한다.
• 기존 방법에서 디코딩 복잡도의 80% 이상을 차지하는 합성(디코딩) 변환의 계산 부담을 줄인다.
• 클래식한 코덱(예: JPEG)과 유사한 경량, 선형 또는 얕은 디코딩 변환의 가능성을 탐색하면서도 압축 품질을 유지한다.
• 인코딩과 디코딩 간의 계산 예산 비대칭성을 활용하여 강력한 인코더가 단순한 디코더를 보완하도록 한다.
• 신경 이미지 압축에서 비율-왜곡 성능와 디코딩 복잡도 사이의 상호 트레이드오프에 새로운 국면을 마련한다.

제안 방법

• 기존 신경 이미지 압축에서 사용하는 깊은 컨볼루션 합성 변환을 얕거나 선형 변환으로 대체하여 JPEG의 구조를 모방한다.
• Minnen 등(2018)의 Mean-Scale Hyperprior 아키텍처를 기반 모델로 사용하며, 하이퍼프리어는 유지하되 합성 경로만 단순화한다.
• 반복적 추론을 위한 Stochastic Gumbel Annealing(SGA)을 활용하여 이산 잠재 표현을 향상시켜 비율-왜곡 성능을 향상시킨다.
• 얕거나 선형 변환으로 인해 손실된 표현 능력을 복원하기 위해 합성 경로에 단일 은닉층을 도입한다.
• 이론적으로 점점 커지는 설정에서 R-D 비용을 정식화하여 강력한 인코더와 경량 디코더의 조합을 정당화한다.
• 디코딩 복잡도를 픽셀당 FLOPs와 KMACs(천 단위 곱셈-합산 연산)로 측정하여 고전적 코덱과 직접 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 얕거나 선형의 합성 변환은 깊은 신경 디코더에 비해 경쟁 가능한 비율-왜곡 성능를 달성할 수 있는가?
• RQ2 반복적 인코딩과 같은 강력한 인코딩 방법이 디코딩 복잡도를 감소시키는 데 얼마나 효과적인가?
• RQ3 합성 변환이 유도하는 잠재 다양체의 곡률과 선형성은 압축 성능에 어떤 영향을 미치는가?
• RQ4 신경 손실 압축에서 인코딩 복잡도, 디코딩 복잡도, 비율-왜곡 비용 간의 이론적 관계는 무엇인가?
• RQ5 고급 인코딩 전략과 조합될 경우, JPEG 유사 합성 변환은 더 깊은 아키텍처를 능가할 수 있는가?

주요 결과

• 제안된 방법은 디코딩 시 50K FLOPs/pixel 미만에서 기존의 Mean-Scale Hyperprior 아키텍처 수준의 비율-왜곡 성능를 달성하며, 기준 디코딩 복잡도를 80% 이상 감소시켰다.
• 합성 변환의 복잡도는 90% 이상 감소하여 거의 고전적 복잡도 수준의 디코딩이 가능하다는 것을 입증했다.
• 합성 변환의 단순성에도 불구하고 반복적 인코딩과 강력한 하이퍼프리어 덕분에 뛰어난 R-D 성능를 유지한다.
• 합성 변환이 유도하는 잠재 다원체는 상대적으로 평탄하고 선형 조합을 유지하는 경향을 보여, 이 영역에서는 비선형성이 고성능을 위해 필수적인 것은 아님을 시사한다.
• 이론적 분석을 통해 인코딩 복잡도를 증가시키면 추론 갭이 줄어들고 R-D 비용이 향상됨을 확인하여, 강력한 인코더와 경량 디코더의 조합이 타당함을 정당화한다.
• 엔트로피 디코딩이 총 디코딩 계산의 50%~80%를 차지하게 되어, 계산 병목 지점의 이동이 일어나며 새로운 최적화 기회를 열었다.