[논문 리뷰] iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder

Shifeng Zhang, Ning Kang외 2명|arXiv (Cornell University)|2021. 11. 01.

Algorithms and Data Compression인용 수 12

한 줄 요약

iFlow는 이산 공간의 전단사 변환을 위한 Modular Scale Transform(MST)과 빠른 엔트로피 코딩을 위한 Uniform Base Conversion System(UBCS)을 도입하여 수치적으로 역행 가능하고 효율적인 손실 없는 압축을 위한 정규화 플로를 제안한다. 이는 LBB보다 5배 빠른 코딩 속도를 기록하면서도 최첨단 압축 비율을 달성하며, 이론적 최소 코드길이에 매우 가까운 성능을 유지한다.

ABSTRACT

It was estimated that the world produced $59 ZB$ ($5.9 imes 10^{13} GB$) of data in 2020, resulting in the enormous costs of both data storage and transmission. Fortunately, recent advances in deep generative models have spearheaded a new class of so-called "neural compression" algorithms, which significantly outperform traditional codecs in terms of compression ratio. Unfortunately, the application of neural compression garners little commercial interest due to its limited bandwidth; therefore, developing highly efficient frameworks is of critical practical importance. In this paper, we discuss lossless compression using normalizing flows which have demonstrated a great capacity for achieving high compression ratios. As such, we introduce iFlow, a new method for achieving efficient lossless compression. We first propose Modular Scale Transform (MST) and a novel family of numerically invertible flow transformations based on MST. Then we introduce the Uniform Base Conversion System (UBCS), a fast uniform-distribution codec incorporated into iFlow, enabling efficient compression. iFlow achieves state-of-the-art compression ratios and is $5 imes$ quicker than other high-performance schemes. Furthermore, the techniques presented in this paper can be used to accelerate coding time for a broad class of flow-based algorithms.

연구 동기 및 목표

• 신경 압축, 특히 플로 기반 모델에서 느린 코딩 속도라는 실용적 한계를 해결하기 위해.
• 이산 공간의 전단사 변환을 통해 정확한 역행성과 이산화 과정에서의 정보 손실 없이 고정밀도 밀도 추정을 가능하게 하기 위해.
• 실시간 압축에 적합한 빠르고 동적 엔트로피 코더를 개발하여 이산 플로와 호환되도록 하기 위해.
• 신경 압축에서 높은 압축 비율과 실용적인 구현 속도 사이의 격차를 메우기 위해.
• 다양한 이미지 데이터셋, 특히 고해상도 이미지를 포함한 다양한 환경에서 효율적이고 확장 가능한 손실 없는 압축을 가능하게 하기 위해.

제안 방법

• 연속 플로에서 유도된 이산 공간 전단사 변환의 유연한 가족인 Modular Scale Transform(MST)을 도입하여 수치적으로 역행 가능한 변환을 가능하게 한다.
• 단일 기호당 상수 시간 내에 작동하며 오직 두 가지 연산만을 사용하는 동적 엔트로피 코더인 Uniform Base Conversion Systems(UBCS)를 제안한다. 이는 빠른 압축을 가능하게 한다.
• MST와 UBCS를 결합하여 입력 데이터와 잠재 변수 사이에 정확한 전단사 관계를 유지하는 완전히 역행 가능한 엔드 투 엔드 압축 파이프라인을 구축한다.
• 다중 MST 레이어로 구성된 플로 기반 아키텍처를 사용하며, 잠재 변수는 학습 가능한 부피 보존 전단사 변환을 통해 변환된다.
• 학습 목표로 음의 로그우도를 사용하여 재구성 오차를 최소화하면서도 정확한 역행성을 유지한다.
• 수치적 오차를 손실 없이 인코딩하기 위해 bits-back 코딩 프레임워크를 활용하여 연속 플로를 이산 압축에 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존 신경 코덱보다 압축 비율은 유지하면서도 훨씬 더 빠른 코딩 속도를 달성할 수 있는 플로 기반 압축 모델을 설계할 수 있는가?
• RQ2 표현 제약 없이 이산 입력 데이터와 잠재 변수 사이의 정확한 역행성을 유지할 수 있는가?
• RQ3 이산 플로와 효율적으로 작동하는 동적 엔트로피 코더를 설계할 수 있는가? 이는 코딩 시간을 줄이되 압축 효율성을 훼손하지 않도록 한다.
• RQ4 제안된 방법이 고해상도 이미지 및 실제 워크벤치를 포함한 다양한 이미지 데이터셋에 얼마나 일반화되는가?
• RQ5 MST와 UBCS의 조합이 LBB 및 iVPF와 같은 기존 접근법과 비교해 압축 비율과 속도 측면에서 어떻게 성능을 냈는가?

주요 결과

• iFlow는 CIFAR-10, ImageNet32, ImageNet64를 포함한 모든 테스트 데이터셋에서 최첨단 압축 비율을 달성한다.
• LBB, 다음으로 뛰어난 고성능 기법보다 코딩 속도가 5배 빠르며, 더 뛰어난 압축 효율성을 유지한다.
• iFlow의 코드길이는 이론적 최소값에 매우 가까워 거의 최적의 압축 성능를 나타낸다.
• 모델은 고해상도 이미지로도 잘 일반화되며, 비중첩 32×32 및 64×64 패치를 압축할 때 모든 베이스라인을 능가한다.
• UBCS는 기호당 두 가지 연산만으로 동적 엔트로피 코딩을 가능하게 하여 ANS 및 AC보다 속도에서 뛰어나며, 압축 정밀도를 유지한다.
• 모델은 강력한 일반화 능력을 보이며, ImageNet32에서 미리 학습된 모델로 ImageNet64를 압축할 때도 성능 향상을 보였다.