[論文レビュー] Encoding and Decoding Algorithms of ANS Variants and Evaluation of Their Average Code Lengths

H. Yamamoto, Ken‐ichi Iwata|arXiv (Cornell University)|Aug 14, 2024

Coding theory and cryptography被引用数 1

ひとこと要約

本稿は、ANSの変種であるABS、rANS、tANSの符号化および復号化アルゴリズムについて、包括的かつ理解しやすい説明を提供するとともに、それらの平均符号長に対するタイトな情報理論的上限を導出する。tANSは、最適確率分布を用いる場合、1シンボルあたり1ビット未満の限定的な損失でほぼ最適な圧縮を達成できることを示しており、実用的な無損失圧縮システムにおいて非常に効率的である。

ABSTRACT

Asymmetric Numeral Systems (ANS) proposed by Jarek Duda are high-performance distortionless data compression schemes that can achieve almost the same compression performance as arithmetic codes with less arithmetic operations than arithmetic coding. The ANS is widely used in various practical systems like Facebook, Apple, Google, Dropbox, Microsoft, and Pixar, due to their high performance, but many researchers still lack much knowledge about the ANS. This paper thoroughly explains the encoding and decoding algorithms of the ANS, and theoretically analyzes the average code length achievable by the ANS.

研究の動機と目的

• ANSの符号化および復号化アルゴリズムについて、しばしば不十分に文書化されており、理解が難しいことから、明確で詳細な説明を提供すること。
• Zstandard、LZFSE、Googleの圧縮ツールなど、広く使用されているにもかかわらず、ANSの理論的性能評価、特に平均符号長に関する欠落が顕著であることを踏まえ、その問題を解決すること。
• 特にtANSに注目し、情報理論的厳密な上限を導出し、ANSの変種が達成可能な平均符号長の上限を明確にすること。
• ANSと算術符号化の関係を明確にし、整数演算と逆順処理を用いることで、算術符号化と同等の圧縮効率を達成しつつ、より少ない算術演算で実現できることを強調すること。

提案手法

• 整数演算を用いて、ABS（非対称バイナリシステム）、rANS（範囲変種）、tANS（テーブル変種）の3つのANS変種の符号化および復号化関数を提案・形式化する。
• 期待される平均符号長を制限するための新規な情報理論的分析を導入し、エントロピー H(p) および相対エントロピー D(p∥q) を主要な構成要素として用いる。
• tANSの厳密な上限を導出：L ≤ H(p) + D(p∥q) + α/N ここで α は定数、N はテーブルサイズであり、近似的に最適性が示される。
• tANSにおける量子化による平均符号長の損失を、実数値の理想符号語長と整数ベースの実装との比較を通じて分析する。
• ジェンセンの不等式および確率分布を用いて、実際の符号長と理想符号長の乖離を制限し、特にtANSの場合に有効であることを示す。
• マッピング関数 C̃ を最適に構築した場合、分布 Q(x) が理想分布 Q*(x) = (lg x + 1)/x に非常に近づき、性能損失を最小限に抑えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 ABS、rANS、tANSの符号化および復号化アルゴリズムは実際にはどのように動作し、その主な相違点は何か？
• RQ2 ANSの変種が達成可能な平均符号長の理論的上限は何か？ また、情報理論的限界にどれほど近づけるか？
• RQ3 tANSは理想の実数値符号語システムと比較してどの程度の性能損失を示すか？ そして、適切な設計によりその損失を最小限に抑える方法は何か？
• RQ4 tANSの平均符号長はエントロピーと相対エントロピーの観点から、どのように上限づけられるか？ また、テーブルサイズ N はこの上限にどのような役割を果たすか？
• RQ5 確率分布およびマッピング関数の選択が、tANSの圧縮効率にどのように影響を与えるか？

主な発見

• tANSの平均符号長は、H(p) + D(p∥q) + α/N で上限づけられ、ここで α は定数である。この結果、テーブルサイズが大きくなるほど性能損失が減少することが示された。
• 理想状態との比較において、平均符号長の理論的損失は1ビット/シンボル未満であることが、L − L* < 1 という不等式によって厳密に示された。
• 確率分布 q(s) = N/Ns がソース分布 p(s) と一致する場合、マッピング関数 C̃ を構築することで Q(x) = Q*(x) + O(1/N²) とし、ほぼ最適な性能を達成できる。
• tANSの理想の定常分布は Q*(x) = (lg x + 1)/x であり、この分布を達成することで平均符号長が最小化される。
• 分析により、tANSはエントロピー限界に非常に近い圧縮性能を達成でき、整数量子化に起因するわずかな、かつ有界な損失があることが確認された。
• 本稿は、整数演算を用いても、ANSが算術符号化と同等の圧縮効率を達成できることを確立しており、計算量が少なく、高性能システムに適していることが示された。