[論文レビュー] Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective

Robert Bamler|arXiv (Cornell University)|Jan 5, 2022

Evolutionary Algorithms and Applications被引用数 13

ひとこと要約

本論文は、非対称数字システム（ANS）のエントロピー符号化について、統計的潜在変数モデルに基づく視点を提示し、機械学習研究者がANSをより直感的に理解・実装できるようにする。Pythonによる新規実装を導入し、ビットバックのトリックを用いてANSを一般化し、高性能なオープンソースライブラリ（constriction）の評価も行っている。このライブラリは、算術符号化よりもはるかに高速な実行時間で、ほぼ最適な圧縮性能を達成している。

ABSTRACT

Entropy coding is the backbone data compression. Novel machine-learning based compression methods often use a new entropy coder called Asymmetric Numeral Systems (ANS) [Duda et al., 2015], which provides very close to optimal bitrates and simplifies [Townsend et al., 2019] advanced compression techniques such as bits-back coding. However, researchers with a background in machine learning often struggle to understand how ANS works, which prevents them from exploiting its full versatility. This paper is meant as an educational resource to make ANS more approachable by presenting it from a new perspective of latent variable models and the so-called bits-back trick. We guide the reader step by step to a complete implementation of ANS in the Python programming language, which we then generalize for more advanced use cases. We also present and empirically evaluate an open-source library of various entropy coders designed for both research and production use. Related teaching videos and problem sets are available online.

研究の動機と目的

• アルゴリズム的圧縮に馴染みのない機械学習・統計学の研究者にとって、非対称数字システム（ANS）をよりアクセスしやすくすること。
• 潜在変数モデルとビットバックのトリックを用いてANSを再定式化し、記述的モデリングと手続き的コーディングの間の概念的ブリッジを提供すること。
• ビットバックフレームワークの3段階を再構成することで、新しいANSバージョンの開発を可能にすること。
• 研究およびデプロイメントに適したオープンソースで生産用途に耐えるエントロピー符号化ライブラリ（constriction）の開発と実証的評価を行うこと。
• ANSとレンジコーディングが、算術符号化よりも速度面で優れており、ほぼ最適な圧縮性能を維持していることを示すこと。

提案手法

• ビットバックのトリックを応用してANSを再解釈し、3段階に分解する：符号化を事後分布からのサンプリングとして扱い、圧縮をビットバックとして実装し、復号を推論として行う。
• 実際のコードを用いてアルゴリズムの各ステップを段階的に説明する、実行可能なPython実装（リスト3.3）を提示する。
• 3つのビットバックステップを新たな方法で再結合することで、ANSを一般化し、新たな圧縮パターンやモデルアーキテクチャの実現を可能にする。
• 高エントロピー領域における復号の高速化を目的として、カテゴリカルエントロピー・モデルに対するルックアップテーブル最適化を導入する。
• 低精度モデルではシンボルのルックアップに二分探索を採用し、メモリと速度の間で調整可能なトレードオフを提供する。
• PythonおよびRustをサポートするconstrictionライブラリを設計・ベンチマークし、バイナリ互換性を備えた複数のエントロピー・コーダーを提供する。

実験結果

リサーチクエスチョン

• RQ1 ANSは統計的潜在変数モデリングの視点から、どのように理解・実装できるか？
• RQ2 ビットバックのトリックフレームワークを用いてANSを一般化し、新たな圧縮技術を可能にすることができるか？
• RQ3 さまざまなエントロピー水準において、ANSのビットレートと速度が算術符号化およびレンジコーディングと比べてどう異なるか？
• RQ4 異なる精度設定やルックアップ戦略を用いた場合の、ANS実装における実用的トレードオフは何か？
• RQ5 研究のプロトタイピングと本番環境デプロイメントの両方に適した統合型で高性能なエントロピー符号化ライブラリを構築できるか？

主な発見

• constrictionライブラリは、理論的エントロピー限界に非常に近いビットレートを達成し、ほぼ最適な圧縮性能を発揮する。
• ANSとレンジコーディングは、算術符号化よりも顕著に高速であり、特に算術符号化がビット単位の演算によって劣化する高エントロピー領域で顕著である。
• ANSの復号処理は、シンボル区間の二分探索により高エントロピー領域で遅延するが、低精度モデルでは事前計算されたルックアップテーブルを用いることでこれを緩和できる。
• ルックアップテーブル手法は復号時間を定数時間に削減するが、メモリ使用量を増加させ、低エントロピー領域ではキャッシュ効率が悪いため性能が低下する。
• ライブラリのデフォルト設定は、速度、メモリ、圧縮効率のバランスが良く、初期のプロトタイピングに適している。
• ビットバックの視点により、3つのアルゴリズムステップを再構成することで、新しいANSバージョンの開発が可能となり、構造的圧縮分野における新たな研究の道筋が開かれる。