[論文レビュー] Adaptive Context Tree Weighting

Alexander O'Neill, Marcus Hütter+2 more|arXiv (Cornell University)|Jan 10, 2012

Algorithms and Data Compression参考文献 15被引用数 6

ひとこと要約

本稿では、非定常データに対して性能を向上させるために最近の観測値の重みを動的に増加させる、標準的なコンテキストツリー加重（CTW）アルゴリズムの拡張版である適応的コンテキストツリー加重（ACTW）を提案する。変動する分布に適応することで、ACTWは個々のファイルにおいてCTWに比べ最大10.5%優れた圧縮性能を達成し、連結ファイルにおいても一貫してCTWを上回る結果を示し、計算コストの増加なしに非定常的ソースの処理能力が優れていることを実証した。

ABSTRACT

We describe an adaptive context tree weighting (ACTW) algorithm, as an extension to the standard context tree weighting (CTW) algorithm. Unlike the standard CTW algorithm, which weights all observations equally regardless of the depth, ACTW gives increasing weight to more recent observations, aiming to improve performance in cases where the input sequence is from a non-stationary distribution. Data compression results show ACTW variants improving over CTW on merged files from standard compression benchmark tests while never being significantly worse on any individual file.

研究の動機と目的

• 時間の経過とともに分布が変化する非定常的データソースにおいて、標準的なCTWの限界を解消すること。
• 計算複雑性を増加させることなく、時間的に変化する分布における予測および圧縮性能を向上させるCTWの適応的変種を開発すること。
• 最近の観測値に適応的重みを割り当てることで、多様なデータタイプおよびベンチマークセットにおける圧縮性能が向上するかどうかを評価すること。
• 圧縮利得を最大化するための適応的パrameterの最適な設定を特定すること。

提案手法

• ACTWは、ベイジアン混合モデルにおける最近の観測値の重みを増加させるための減衰係数を導入することで、標準的なCTWアルゴリズムを変更する。
• 過去のデータに依存するのを減らすために、最近の履歴に基づいて確率を効率的に更新する部分的コンテキスト訪問メカニズムを採用する。
• パrameter化された減衰関数を用いてコンテキストツリーのノードに割り当てた割合を割り当て、パラメータcとαが適応の速度を制御する。
• 時間に応じて重みが減衰するカウントを用いて、修正版KT推定器を再帰的に使用して各ノードにおける加重確率を計算する。
• 全コンテキスト訪問および部分的コンテキスト訪問戦略を組み合わせた4つのACTWバージョンを評価した。
• 標準的なデータ圧縮ベンチマーク（Calgary, Canterbury, Gauntlet, SFC）を用い、個々のファイルおよび連結ファイルの両方で性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 最近の観測値に適応的重みを割り当てることで、非定常的データソースにおけるCTWの性能が向上するか？
• RQ2 減衰パラメータ（c, α）の選択が、ACTWバージョンの圧縮性能にどのように影響するか？
• RQ3 CTWが個々のファイルでは優れている場合でも、連結ファイルにおいてACTWは標準CTWを上回るのか？
• RQ4 特定のファイルタイプやデータ形式では、ACTWが顕著に大きな圧縮利得を提供するのか？
• RQ5 標準CTWと比較して、ACTWにおける適応速度と圧縮効率のトレードオフは何か？

主な発見

• c=0.1およびα=0.33を設定した部分的コンテキスト訪問ベースのACTW2が、すべてのテストセットで最良の全体的な圧縮性能を達成した。
• SFCテストセットにおいて、ACTW2はenglish.dicに対して10.5%以上、vcfiu.hlpに対して4%、AcroRd32.exeに対して2%の圧縮向上を達成した。
• Canterburyコーパスのkennedy.xlsファイルでは、ACTW2がCTWに比べ8%の改善を示し、構造的で非定常的なデータへの強い適応性を示した。
• CalgaryおよびCanterburyコーパスからの連結ファイルにおいて、ACTW2はCTWを一貫して上回り、それぞれ1.3%および0.8%の向上を示した。これは、CTWが多数の個別ファイルで優れているにもかかわらず、ACTW2が連結データストリームにおいて優れた性能を発揮していることを示している。
• english.dicではACTW2がbzip2を約5%上回り、rafale.bmpではbzip2とほぼ同等の性能を示した。これは、ビットマップ形式とも互換性があることを示唆している。
• 結果から、ACTWの適応的メカニズムが、特に混合または連結されたデータストリームにおいて、変化するソース分布の処理をより効果的に行えることが明らかになった。