[論文レビュー] Finite-State Dimension and Lossy Decompressors

David Doty, Philippe Moser|arXiv (Cornell University)|Sep 18, 2006

Computability, Logic, AI Algorithms参考文献 20被引用数 12

ひとこと要約

この論文は、事前に損失なし圧縮を用いて定義された有限状態次元が、損失あり有限状態デコード器を用いても同等に特徴付けられることを確立している。任意の無限列において、有限状態トランスデューサ（すなわち、損失ありでもよい）が達成可能な最良のデコード比が、その列の有限状態次元に等しいことを証明しており、圧縮とデコードが有限状態レベルにおいて、情報損失の有無に関わらず同等のパワーを持つことを示している。

ABSTRACT

This paper examines information-theoretic questions regarding the difficulty of compressing data versus the difficulty of decompressing data and the role that information loss plays in this interaction. Finite-state compression and decompression are shown to be of equivalent difficulty, even when the decompressors are allowed to be lossy. Inspired by Kolmogorov complexity, this paper defines the optimal *decompression *ratio achievable on an infinite sequence by finite-state decompressors (that is, finite-state transducers outputting the sequence in question). It is shown that the optimal compression ratio achievable on a sequence S by any *information lossless* finite state compressor, known as the finite-state dimension of S, is equal to the optimal decompression ratio achievable on S by any finite-state decompressor. This result implies a new decompression characterization of finite-state dimension in terms of lossy finite-state transducers.

研究の動機と目的

• 論文は、有限状態次元が圧縮ではなくデコードを用いて特徴付けられるかどうかを調査する。
• 損失ありデコード器が、列の再構築において損失なしのものよりも優れたパワーを発揮するかどうかを検討する。
• 有限状態マシンによるデコードを用いて、有限状態次元の新たな強固な特徴付けを確立することを目的とする。
• デコード中に情報損失が生じても、損失なしデコードと比較して達成可能なデコード比が向上しないことを示す。
• 有限状態次元を圧縮とデコードの両プロセスに結びつけることで、有限状態マシンにおける情報密度の理解を統合することを目的とする。

提案手法

• 論文は、有限状態トランスデューサ（FST）を用いた列Sの最良デコード比を、DkFS(S↾n)として定義する。これは、S↾nという接頭辞を出力するために必要な最小入力長とする。
• 任意の損失ありFSTを、同じ出力動作を「情報損失なしパス」上で保持する同等の損失なしFST（ILFST）に変換する変換を導入する。
• 「単純な悪いペア」—情報損失を引き起こすパス—を排除するために、クローン技術を用いて遷移を再ルーティングし、重要なパスでの一対一性を保つ。
• 任意の損失ありFST Tに対して、Tが文字列xを出力するために必要な最短入力長が、T′がxを出力するために必要な最短入力長以上でないような、ILFST T′が存在することを証明する。
• 証明は、FSTの構造的解析に依拠しており、出力集合の接尾辞自由性および遷移パスにおける単純な悪いペアの概念を含む。
• DkFS(S↾n)/n の lim inf と lim sup が、それぞれ古典的な有限状態次元と強い次元に等しいことを確立する。

実験結果

リサーチクエスチョン

• RQ1 有限状態トランスデューサによるデコードを用いて、列の有限状態次元を圧縮とは別に同等に特徴付けられるか？
• RQ2 有限状態マシンにおける損失ありデコードを許容することで、損失なしデコードと比較して達成可能なデコード比が向上するか？
• RQ3 有限状態レベルにおいて、圧縮とデコードの間に根本的な非対称性があり、損失ありデコード器が損失なしのものより優れていると想定されるか？
• RQ4 すべての損失あり有限状態トランスデューサは、デコード効率に損失なしに同等の損失なしトランスデューサでシミュレート可能か？
• RQ5 有限状態次元は、損失ありを含むデコーダモデルの選択に依存しない不変性を示すか？

主な発見

• 任意の有限状態トランスデューサ（損失ありを含む）が列Sに対して達成可能な最良のデコード比は、Sの有限状態次元に等しい。
• すべての損失あり有限状態トランスデューサTに対して、Tが文字列xを出力するために必要な最短入力長が、T′がxを出力するために必要な最短入力長以上でないような損失なし有限状態トランスデューサT′が存在する。
• 有限状態次元 dimFS(S) は、n→∞ のときの DkFS(S↾n)/n の極限下限に等しい。ここで DkFS(S↾n) は、任意のFST（損失ありを含む）がS↾nを出力するために必要な最小入力長である。
• 有限状態強次元 DimFS(S) は、n→∞ のときの DkFS(S↾n)/n の極限上限に等しい。
• 損失ありデコーダを許容しても、有限状態次元のデコードによる特徴付けは成り立つ。これは、情報損失がデコード効率の向上に寄与しないことを意味する。
• この結果は、有限状態次元が圧縮とデコードの両方によって強固に特徴付けられ、有限状態マシンにおける情報密度の2つの視点を統合することを示唆する。