[論文レビュー] Asymmetric numeral systems

Jarek Duda|ArXiv.org|Feb 2, 2009

Algorithms and Data Compression参考文献 5被引用数 81

ひとこと要約

この論文は、任意の確率分布に従う記号を単一の状態で効率的に符号化できる、新しいエントロピー符号化フレームワークである非対称数字系（ANS）を紹介する。これは標準的な数進法を一般化し、シャノンの限界に非常に近い圧縮を達成する。高速かつ正確な符号化が可能で、疑似乱数初期化により組み込み型の暗号化が実現され、線形期待補正時間に近い実用的な誤り訂正メカニズムも導入されている。これは任意のノイズレベルにおいてシャノンの限界に近づく。

ABSTRACT

In this paper will be presented new approach to entropy coding: family of generalizations of standard numeral systems which are optimal for encoding sequence of equiprobable symbols, into asymmetric numeral systems - optimal for freely chosen probability distributions of symbols. It has some similarities to Range Coding but instead of encoding symbol in choosing a range, we spread these ranges uniformly over the whole interval. This leads to simpler encoder - instead of using two states to define range, we need only one. This approach is very universal - we can obtain from extremely precise encoding (ABS) to extremely fast with possibility to additionally encrypt the data (ANS). This encryption uses the key to initialize random number generator, which is used to calculate the coding tables. Such preinitialized encryption has additional advantage: is resistant to brute force attack - to check a key we have to make whole initialization. There will be also presented application for new approach to error correction: after an error in each step we have chosen probability to observe that something was wrong. There will be also presented application for new approach to error correction: after an error in each step we have chosen probability to observe that something was wrong. We can get near Shannon's limit for any noise level this way with expected linear time of correction.

研究の動機と目的

• 標準的な数進法を任意の記号確率分布に一般化する、万能なエントロピー符号化手法の開発。
• 効率性と単純さの向上を目的に、従来の二状態範囲符号化を一状態符号化機構に置き換え。
• 鍵で初期化された疑似乱数生成器を用いて、符号化プロセスに直接暗号化を統合。
• 期待線形補正時間でシャノンのチャネル容量に近づく実用的な誤り訂正スキームの設計。
• ANSに基づく単一で効率的なフレームワークで、圧縮、暗号化、誤り耐性を統合。

提案手法

• 符号化の現在位置を表すために単一の状態を使用し、算術符号化における二状態範囲定義を置き換え。
• 情報を最下位ビットに配置するため、状態空間全体に均等に記号を分散配置（連続範囲ではなく）。
• 鍵で初期化された疑似乱数生成器を用いて符号化テーブルを初期化し、組み込み型暗号化を実現。
• 符号化／復号化の各ステップで、記号確率に基づいて事前に計算されたルックアップテーブルを用いて状態に一方向変換を適用。
• 確率的誤り検出メカニズムを導入：各ステップで確率 $ p_d $ で誤りが検出され、パス追跡により補正可能。
• 最小ハミング距離を状態の最下位ビットに強制することで一般化ブロック符号を構築。符号語に対してXORおよび置換演算を適用。

実験結果

リサーチクエスチョン

• RQ1 一状態エントロピー符号化は、算術符号化よりも高速でありながら、シャノンのエントロピー限界に非常に近い圧縮効率を達成できるか？
• RQ2 追加の計算コストなしに、データ暗号化を符号化プロセスにネイティブに統合できるか？
• RQ3 期待線形補正時間で、任意のノイズレベルにおいてシャノンの限界に近づく実用的な誤り訂正メカニズムを設計できるか？
• RQ4 疑似乱数で初期化された符号化テーブルの使用が、圧縮性能およびセキュリティに与える影響は何か？
• RQ5 局所的な誤り集中を扱うために、ブロック間の冗長性をどのように接続すればよいか？（指数的補正コストを回避する方法）

主な発見

• ANSは、算術符号化と同等の圧縮レートを達成しながら、単一の状態のみを使用するため、実装が簡略化され、高速化が可能。
• 記号確率がよく推定されている場合、理論的シャノン限界に非常に近い精度で近似的に最適圧縮が可能。
• 鍵で初期化された疑似乱数テーブルによる組み込み型暗号化は、ブルートフォース攻撃に対して強く、すべての鍵をテストするには完全な初期化が必要となる。
• 誤り訂正メカニズムは、各ステップで確率 $ p_d $ で誤りを検出でき、$ p_d $ がシャノン限界に関連する閾値を超えると、期待線形補正時間に達する。
• 符号化プロセスの内部状態を通じてブロック間の冗長性を接続することで、高密度の局所的誤りを処理でき、理論的チャネル容量に近づく。
• 最小ハミング距離（例：2以上）を強制する一般化ブロック符号により、単一ビット誤りを即座に検出でき、デコーダテーブルの参照回数が減少し、補正が高速化される。