[論文レビュー] An Enhanced Static Data Compression Scheme Of Bengali Short Message

Abu Shamim Mohammad Arif, Asif Mahamud+1 more|ArXiv.org|Sep 1, 2009

Algorithms and Data Compression参考文献 1被引用数 8

ひとこと要約

本稿では、リソースが限られたモバイルデバイス向けに最適化された、ベンガル語の短いメッセージを対象とした強化された静的データ圧縮方式を提案する。文字マスキング、辞書照合、関連ルールマイニング、および文脈駆動型静的ハフマン符号化モデルを組み合わせた本手法は、計算コストを最小限に抑えつつ高い圧縮効率を達成し、メモリ制限があり処理能力が低い環境に最適である。

ABSTRACT

This paper concerns a modified approach of compressing Short Bengali Text Message for small devices. The prime objective of this research technique is to establish a low complexity compression scheme suitable for small devices having small memory and relatively lower processing speed. The basic aim is not to compress text of any size up to its maximum level without having any constraint on space and time, rather than the main target is to compress short messages up to an optimal level which needs minimum space, consume less time and the processor requirement is lower. We have implemented Character Masking, Dictionary Matching, Associative rule of data mining and Hyphenation algorithm for syllable based compression in hierarchical steps to achieve low complexity lossless compression of text message for any mobile devices. The scheme to choose the diagrams are performed on the basis of extensive statistical model and the static Huffman coding is done through the same context.

研究の動機と目的

• 制限されたメモリと処理速度を有するモバイルデバイスに適した低複雑性のデータ圧縮方式の設計。
• すべてのテキストサイズに対して圧縮比を最大化することを目的とせず、短いベンガル語テキストメッセージの圧縮を最適化すること。
• データの損失なしを保ちながら、圧縮におけるメモリ使用量、実行時間、プロセッサ使用量を低減すること。
• 語彙的および統計的技術（例：語彙レベルの処理、辞書照合）を統合し、文脈に応じた圧縮を実現すること。
• ベンガル語テキストにおける頻出文字および語彙パターンの統計的分析に基づく、静的ハフマン符号化モデルの構築。

提案手法

• ベンガル語テキストの文字レベル表現における冗長性を低減するための文字マスキングの適用。
• 頻出語彙パターンを特定・置換するための辞書照合の使用。
• データマイニングからの関連ルールマイニングを活用し、ベンガル語テキストにおける繰り返し現れる文字および語彙パターンを同定する。
• 語彙への分割を可能にするためのハイフネーションアルゴリズムの実装により、語彙ベースの圧縮を実現する。
• 階層的圧縮パイプライン：文字マスキング → 辞書照合 → 語彙ベース処理 → 静的ハフマン符号化。
• ベンガル語における文字および語彙頻度の統計的モデルに基づいた、事前に計算された静的ハフマンコードブックの構築。

実験結果

リサーチクエスチョン

• RQ1 低価格モバイルデバイス上で、最小限の計算コストで短いベンガル語テキストメッセージを効率的に圧縮する方法は何か？
• RQ2 どのような語彙的および統計的技術の組み合わせが、静的圧縮方式において高い圧縮比と低複雑性を達成できるか？
• RQ3 語彙分割と関連ルールマイニングは、ベンガル語テキストの圧縮効率をどの程度向上できるか？
• RQ4 固定された統計的モデルに基づく静的ハフマン符号化は、動的方式と比較して圧縮性能およびリソース使用量の面でどのように差異を示すか？
• RQ5 文字マスキング、辞書照合、および語彙処理を統合したハイブリッド手法は、圧縮比、処理速度、メモリ使用量の面で最適なトレードオフを達成できるか？

主な発見

• 提案手法は、最小限の計算リソースを用いて、短いベンガル語メッセージに対して顕著な圧縮効率を達成している。
• ハイフネーションによる語彙分割の統合により、パターン認識が向上し、圧縮効果が強化されている。
• 辞書照合と関連ルールマイニングは、頻出文字および語彙シーケンスの特定・符号化に効果的に機能し、冗長性の低減に寄与している。
• 事前に計算された統計的モデルに基づく静的ハフマン符号化により、デコードの複雑さが低く抑えられ、高速な処理が可能になっている。
• 全体の圧縮パイプラインは、低メモリおよび低処理能力環境に最適化されており、小型モバイルデバイスへの展開に適している。
• 本手法は、圧縮比と計算コストの間で良好なトレードオフを実現しており、制限付き環境下では一般用途の手法を上回る性能を示している。