[논문 리뷰] COIN: COmpression with Implicit Neural representations

Emilien Dupont, Adam Goliński외 3명|arXiv (Cornell University)|2021. 03. 03.

Advanced Data Compression Techniques참고 문헌 32인용 수 25

한 줄 요약

COIN은 이미지를 이미지에 작은 MLP를 과적합시키고 양자화된 MLP 가중치를 코드로 저장함으로써 압축하고, 디코딩은 모든 픽셀 위치에서 MLP를 평가하여 수행한다. 엔트로피 부호화 없이도 낮은 비트레이트에서 JPEG보다 우수하다.

ABSTRACT

We propose a new simple approach for image compression: instead of storing the RGB values for each pixel of an image, we store the weights of a neural network overfitted to the image. Specifically, to encode an image, we fit it with an MLP which maps pixel locations to RGB values. We then quantize and store the weights of this MLP as a code for the image. To decode the image, we simply evaluate the MLP at every pixel location. We found that this simple approach outperforms JPEG at low bit-rates, even without entropy coding or learning a distribution over weights. While our framework is not yet competitive with state of the art compression methods, we show that it has various attractive properties which could make it a viable alternative to other neural data compression approaches.

연구 동기 및 목표

• 이미지 압축을 모델 압축으로 다루는 간단한 신경망 데이터 압축 접근법을 동기 부여하고 시연한다.
• 이미지에 대해 작은 MLP를 과적합시키고 그 양자화된 가중치를 저장하는 것이 낮은 비트레이트에서 JPEG를 능가할 수 있음을 보여준다.
• 압축을 위한 암시적 신경 표현의 실용적 특성 및 트레이드오프를 탐구한다.
• 이 접근법이 최첨단 방법과 경쟁할 수 있는지 여부를 평가하고 향후 개선 방향을 식별한다.

제안 방법

• 높은 주파수 디테일을 포착하기 위해 SIREN(Sine 활성화)을 가진 MLP로 f_theta: (x,y) -> RGB로 이미지를 함수로 표현한다.
• f_theta(x,y)와 I[x,y] 간의 MSE를 최소화하여 이미지에 대해 f_theta를 과적합시킨다.
• MLP 가중치 theta를 압축 코드로 양자화하고 저장하여 데이터 압축을 모델 압축으로 전환한다.
• 이미지의 모든 픽셀 위치에서 f_theta를 평가하여 이미지를 재구성해 디코딩한다.
• 비트레이트와 왜곡의 균형을 맞추기 위해 아키텍처 탐색 및 16비트 가중치 양자화를 선택적으로 탐구한다.
• 참고: 인코딩은 이미지당 계산 집약적이지만 디코딩은 간단하고 병렬화 가능하다.

실험 결과

연구 질문

• RQ1 개별 이미지에서 학습된 암시적 신경 표현이 전통 코덱과 비교하여 낮은 비트레이트에서 경쟁력 있는 레이트-왜곡 성능을 제공하는가?
• RQ2 아키텍처 선택과 가중치 양자화가 COIN의 레이트-왜곡 트레이드오프에 어떤 영향을 미치는가?
• RQ3 개별 이미지에 과적합된 네트워크를 통한 인코딩과 기존의 오토인코더 기반 신경 압축의 실용적 이점과 한계는 무엇인가?
• RQ4 학습된 가중치 분포나 메타러닝을 사용하여 최신 방법과의 격차를 줄이고 접근법을 확장할 수 있는가?

주요 결과

• 낮은 비트레이트에서 COIN은 엔트로피 부호화 없이도 JPEG보다 우수하다.
• 가중치를 32비트에서 16비트로 양자화해도 원래 대비 왜곡이 최소화되며 성능이 유지된다(8비트에서는 품질 저하가 발생).
• 해당 방법은 오토인코더 기반 기준과 비교하여 디코더 측 메모리가 매우 작다(예: 0.3 bpp에서 약 14 kB).
• 인코딩은 이미지당 최적화로 인해 느리지만 디코딩은 빠르고 매우 병렬화 가능하다.
• 주어진 비트레이트 예산에 대해 서로 다른 아키텍처가 서로 다른 최적성을 보이므로 아키텍처 탐색 또는 가지치기가 필요하다.