[論文レビュー] Domain Specific Hierarchical Huffman Encoding

K. Ilambharathi, G. S. N. V. Venkata Manik+2 more|arXiv (Cornell University)|Jul 3, 2013

Algorithms and Data Compression参考文献 2被引用数 5

ひとこと要約

本稿では、頻出語彙パターンを短い特別文字列に置き換えた後、古典的ハフマン符号化を適用する二段階のドメイン特化データ圧縮フレームワークを提案する。この手法は、効率的なパターンレベルおよび文字レベルの圧縮と最適なプレフィックス符号化を組み合わせることで、特にコンピュータサイエンスの講義ノートなど大規模なドメイン特化テキストにおいて、古典的ハフマン符号化を上回る圧縮比を達成する。

ABSTRACT

In this paper, we revisit the classical data compression problem for domain specific texts. It is well-known that classical Huffman algorithm is optimal with respect to prefix encoding and the compression is done at character level. Since many data transfer are domain specific, for example, downloading of lecture notes, web-blogs, etc., it is natural to think of data compression in larger dimensions (i.e. word level rather than character level). Our framework employs a two-level compression scheme in which the first level identifies frequent patterns in the text using classical frequent pattern algorithms. The identified patterns are replaced with special strings and to acheive a better compression ratio the length of a special string is ensured to be shorter than the length of the corresponding pattern. After this transformation, on the resultant text, we employ classical Huffman data compression algorithm. In short, in the first level compression is done at word level and in the second level it is at character level. Interestingly, this two level compression technique for domain specific text outperforms classical Huffman technique. To support our claim, we have presented both theoretical and simulation results for domain specific texts.

研究の動機と目的

• 古典的ハフマン符号化が文字レベルでの処理にとどまり、ドメイン特化パターンを無視するという限界を是正すること。
• 学術的講義ノートや技術ブログのようなドメイン特化テキストの圧縮比を、頻出語彙レベルのパターンを活用することで向上させること。
• 頻出パターン抽出と階層的ハフマン符号化を組み合わせた最適なプレフィックス符号化圧縮フレームワークを設計すること。
• 語彙レベルの圧縮とその後の文字レベルハフマン符号化が、圧縮比と効率性の観点で古典的ハフマン符号化を上回ることを検証すること。

提案手法

• 第一段階では、古典的な頻出パターン抽出アルゴリズムを用いて、ドメイン特化テキスト内に頻出するパターン（長さ ≥3）を特定し、最小頻度閾値（例：10回以上）を設定する。
• 識別された各パターンは、短い特別文字列に置き換えられ、|r_i| < |P_i| を満たすことで、ハフマン符号化の前段階でテキストサイズを縮小する。
• 変換済みテキスト（通常の文字と短い置換文字列から構成）は、古典的ハフマンアルゴリズムに供給され、最適なプレフィックス符号化が行われる。
• 圧縮プロセスは階層的である：語彙レベルの置換 → 文字レベルのハフマン符号化。置換辞書はドメインごとに一度だけ送信される。
• 理論的分析により、プレフィックス符号化の下で二段階方式が最適であることが証明され、圧縮比は二段階方式と古典的ハフマン符号化の性能比として定義される。
• シミュレーション実験では、コンピュータサイエンス分野のテキスト（500KB〜2MB）を用いて、性能、圧縮比、パターン長および頻度への感受性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化テキスト内の頻出語彙パターンを短い文字列に置き換えることで、全体の圧縮効率が向上するか？
• RQ2 二段階圧縮（パターンレベル → 文字レベル）は、ドメイン特化データにおいて古典的ハフマン符号化と比較して、圧縮比で優れているか？
• RQ3 パターン長および頻度が、提案された階層的ハフマン方式の性能に与える影響は何か？
• RQ4 パターン辞書の送信オーバーヘッドが、古典的ハフマン符号化と比較して正当化されるのはどの段階か？

主な発見

• 大規模な入力テキスト（例：2MB）では、頻出パターンの頻度が高く、効果的な置換が可能であるため、階層的ハフマン法は古典的ハフマン符号化よりも顕著に優れた圧縮比を達成する。
• 入力テキストサイズが大きくなるほど圧縮比が向上する。これは、より多くの頻出パターンが存在し、置換に適しているためである。
• 同じ頻度であっても、短いパターンの方が長いパターンよりも優れた圧縮比を達成する。これはシミュレーションプロットで確認された。
• 階層的ハフマン法が古典的ハフマン符号化を上回るのは、ドメイン特化テキストのダウンロード回数が臨界閾値を超えた以降である。この時点で、一度限りの辞書送信オーバーヘッドが相殺される。
• 小規模な入力テキストや長いパターンでは、階層的ハフマン法の性能は古典的ハフマン符号化と同等になる。これは、パターン置換の利点が薄れるためである。
• 理論的およびシミュレーション結果により、プレフィックス符号化の下で二段階アプローチが最適であり、ドメイン特化データにおいて優れた性能を発揮することが確認された。