[논문 리뷰] COIN++: Neural Compression Across Modalities

Emilien Dupont, Hrushikesh Loya외 4명|arXiv (Cornell University)|2022. 01. 30.

Generative Adversarial Networks and Image Synthesis인용 수 29

한 줄 요약

COIN++는 공유 기반 네트워크와 인스턴스별 모듈레이션을 활용한 암시적 신경 표현(INR)을 사용하는 통합 신경 압축 프레임워크를 도입하여 빠른 인코딩과 이미지에서 기후 데이터에 이르는 교차 모달 데이터 압축을 가능하게 한다.

ABSTRACT

Neural compression algorithms are typically based on autoencoders that require specialized encoder and decoder architectures for different data modalities. In this paper, we propose COIN++, a neural compression framework that seamlessly handles a wide range of data modalities. Our approach is based on converting data to implicit neural representations, i.e. neural functions that map coordinates (such as pixel locations) to features (such as RGB values). Then, instead of storing the weights of the implicit neural representation directly, we store modulations applied to a meta-learned base network as a compressed code for the data. We further quantize and entropy code these modulations, leading to large compression gains while reducing encoding time by two orders of magnitude compared to baselines. We empirically demonstrate the feasibility of our method by compressing various data modalities, from images and audio to medical and climate data.

연구 동기 및 목표

• 이미지를 넘어선 다양한 데이터 모달리티에서도 작동하는 신경 압축 프레임워크를 제시한다.
• 공유되는 기반 네트워크를 통해 각 데이터 인스턴스를 모듈레이션으로 인코딩함으로써 데이터 포인트별 인코더/디코더를 제거한다.
• 경쟁력 있는 재구성 품질을 유지하면서 인코딩 시간을 대폭 감소시킨다.
• 이미지, 오디오, 의료 및 기후 데이터에 대한 적용 가능성을 입증한다.
• 압축 극대화를 위한 모듈레이션의 양자화 및 엔트로피 코딩을 탐구한다.

제안 방법

• 각 데이터 인스턴스를 좌표를 특징에 매핑하는 암시적 신경 표현(INR)으로 변환한다.
• 고정된 기반 네트워크를 사용하고 인스턴스별 모듈레이션(FiLM 유사)을 학습하여 각 데이터 인스턴스를 매개화한다.
• 새로운 데이터 포인트에 대한 모듈레이션을 몇 번의 그래디언트 스텝으로 회복하도록 기반 네트워크 초기화를 메타 학습한다.
• FiLM 모듈레이션의 시프트만 적용하고 잠재 벡터를 이 모듈레이션으로 선형 매핑하여 안정성과 압축성을 개선한다.
• 학습 및 테스트 중에 메모리 및 확장을 관리하기 위해 큰 데이터를 패치로 분할한다.
• 관측된 모듈레이션 분포를 기반으로 균일 양자화로 모듈레이션을 양자화하고 간단한 엔트로피 코딩을 적용한다.

실험 결과

연구 질문

• RQ1 COIN++가 이미지 이외의 광범위한 데이터 모달리티(예: 오디오, 의료, 기후 데이터)를 압축할 수 있는가?
• RQ2 기반 INR을 인스턴스별 모듈레이션과 공유하는 것이 COIN과 비교하여 압축 및 인코딩 속도를 개선하는가?
• RQ3 모듈레이션의 양자화 및 엔트로피 코딩이 비율-왜곡 성능에 어떤 영향을 미치는가?
• RQ4 패치 기반 학습 및 테스트가 확장성 및 재구성 품질에 미치는 영향은 무엇인가?
• RQ5 COIN++가 모달리티 전반에서 최첨단 코덱에 얼마나 근접할 수 있는가?

주요 결과

코덱	인코딩 속도(ms)	디코딩 속도(ms)
BPG	5.19	1.25
COIN	29700	0.46
COIN++	94.9	1.29

• COIN++는 CIFAR10에서 COIN 및 JPEG/JPEG2000을 크게 앞지르고 저비트레이트에서 BPG 성능에 거의 근접하지만 완전히 도달하지는 못한다.
• 고정된 기반 네트워크를 가진 모듈레이션 사용이 다른 INR 매개변수화 방법보다 더 나은 압축 가능성을 보여주며 같은 파라미터 수에서 PSNR 2dB 이득을 준다.
• 모듈레이션을 5–6비트로 양자화하면 강한 레이트-디스토션 이득과 비교적 작은 PSNR 손실을 제공한다; COIN++에서 모듈레이션 양자화가 가중치 양자화보다 더 로버스트하다.
• COIN++는 COIN보다 이미지 인코딩을 약 300배 더 빠르게 수행하고 CIFAR10에서 약 4배 더 높은 압축을 달성한다(제시된 CIFAR10 인코딩 시간에 따라).
• ERA5 기후 데이터에서 COIN++는 경쟁력 있는 RMSE로 3000×의 압축률을 달성하며 이 모달리티에서 JPEG/JPEG2000/BPG와 같은 기준선을 능가한다.
• 패치 기반 학습으로 COIN++는 큰 데이터 도메인으로 확장되고 저비트레이트에서 비패치 대조군보다 더 나은 성능을 유지한다.