[논문 리뷰] Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective

Robert Bamler|arXiv (Cornell University)|2022. 01. 05.

Evolutionary Algorithms and Applications인용 수 13

한 줄 요약

이 논문은 통계적 잠재변수 모델 기반 시각에서 비대칭 숫자계통(ANS) 엔트로피 코딩을 제시하여 기계학습 연구자들이 ANS를 더 직관적으로 이해하고 구현할 수 있도록 한다. 파이썬 기반의 새로운 구현체를 소개하고 bits-back 기법을 통해 ANS를 일반화하며, near-optimal 압축 성능을 달성하면서도 산술코딩보다 훨씬 빠른 런타임을 보이는 고성능 오픈소스 라이브러리(constriction)를 평가한다.

ABSTRACT

Entropy coding is the backbone data compression. Novel machine-learning based compression methods often use a new entropy coder called Asymmetric Numeral Systems (ANS) [Duda et al., 2015], which provides very close to optimal bitrates and simplifies [Townsend et al., 2019] advanced compression techniques such as bits-back coding. However, researchers with a background in machine learning often struggle to understand how ANS works, which prevents them from exploiting its full versatility. This paper is meant as an educational resource to make ANS more approachable by presenting it from a new perspective of latent variable models and the so-called bits-back trick. We guide the reader step by step to a complete implementation of ANS in the Python programming language, which we then generalize for more advanced use cases. We also present and empirically evaluate an open-source library of various entropy coders designed for both research and production use. Related teaching videos and problem sets are available online.

연구 동기 및 목표

• 알고리즘 기반 압축에 익숙하지 않은 기계학습 및 통계 연구자들이 Asymmetric Numeral Systems (ANS)를 더 쉽게 접근할 수 있도록 하는 것.
• 잠재변수 모델과 bits-back 기법을 사용해 ANS를 재구성함으로써, 기술적 모델링과 절차적 프로그래밍 사이의 개념적 다리를 놓는 것.
• bits-back 프레임워크의 세 단계를 분해함으로써 새로운 ANS 변종을 가능하게 하는 것.
• 연구 및 구현을 위한 생산 준비가 된 엔트로피 코딩 라이브러리(constriction)를 개발하고 실증 평가하는 것.
• ANS와 범위코딩(Range Coding)이 산술코딩보다 빠르면서도 near-optimal 압축 성능을 유지함을 보여주는 것.

제안 방법

• bits-back 기법을 적용해 ANS를 재해석함으로써, 세 단계로 분해: 압축을 후행 분포 샘플링으로, bits-back을 통해 압축, 복호화를 추론으로서 처리.
• 실제 코드를 사용해 알고리즘의 각 단계를 단계별로 설명하는 실행 가능한 파이썬 구현체(목록 3.3)를 제시.
• 세 가지 bits-back 단계를 새로운 방식으로 재조합함으로써 ANS를 일반화하고, 새로운 압축 패턴과 모델 아키텍처를 가능하게 함.
• 고엔트로피 영역에서 복호화 속도를 향상시키기 위해 이산 확률 모델에 대한 룩업 테이블 최적화를 도입.
• 저정밀도 모델에서는 기호 룩업을 이진 탐색으로 처리하고, 메모리와 속도 사이의 유연한 트레이드오프를 제공.
• 파이썬과 루스트를 모두 지원하며, 이진 호환성을 갖춘 여러 엔트로피 코더를 제공하는 constriction 라이브러리를 개발하고 벤치마크를 수행.

실험 결과

연구 질문

• RQ1 ANS는 통계적 잠재변수 모델링 시각에서 어떻게 이해하고 구현할 수 있는가?
• RQ2 bits-back 기법 프레임워크를 사용해 ANS를 일반화하고 새로운 압축 기법을 가능하게 할 수 있는가?
• RQ3 다양한 엔트로피 수준에서 ANS의 비트레이트와 속도가 산술코딩과 범위코딩보다 어떻게 비교되는가?
• RQ4 다양한 정밀도 설정과 룩업 전략을 사용할 때 ANS를 구현하는 데 실질적인 트레이드오프는 무엇인가?
• RQ5 연구 프로토타이핑과 생산 환경 배포를 모두 지원하는 통합된 고성능 엔트로피 코딩 라이브러리를 구축할 수 있는가?

주요 결과

• constriction 라이브러리는 이론적 엔트로피 한계에 매우 가까운 near-optimal 압축 성능을 달성한다.
• ANS와 범위코딩은 산술코딩보다 훨씬 빠르며, 특히 산술코딩이 비트 단위 연산으로 성능이 떨어지는 고엔트로피 영역에서 두드러진다.
• ANS의 복호화 속도는 고엔트로피 영역에서 기호 간격에 대한 이진 탐색으로 인해 느려지지만, 저정밀도 모델에 대해 사전 계산된 룩업 테이블을 사용함으로써 이 문제를 완화할 수 있다.
• 룩업 테이블 방식은 복호화 시간을 일정 시간으로 줄이지만, 메모리 사용량을 늘리고 저엔트로피 영역에서는 캐시 성능이 열 劣화되어 성능에 악영향을 줄 수 있다.
• 라이브러리의 기본 설정은 속도, 메모리, 압축 효율성 사이에 균형을 이루며, 초기 프로토타이핑에 적합하다.
• bits-back 시각은 세 알고리즘 단계를 재조합함으로써 새로운 ANS 변종을 가능하게 하여, 구조적 압축 분야의 새로운 연구 방향을 열어준다.