[论文解读] Finite-State Dimension and Lossy Decompressors

David Doty, Philippe Moser|arXiv (Cornell University)|Sep 18, 2006

Computability, Logic, AI Algorithms参考文献 20被引用 12

一句话总结

本论文表明，有限状态维数——此前通过无损压缩定义——可等价地通过有损有限状态解压缩器来表征。它证明了，任何有限状态转换器（即使是有损的）在无限序列上所能达到的最佳解压缩比率，等于该序列的有限状态维数，从而表明在有限状态级别上，压缩与解压缩具有同等的表达能力，无论解压缩过程中是否发生信息丢失。

ABSTRACT

This paper examines information-theoretic questions regarding the difficulty of compressing data versus the difficulty of decompressing data and the role that information loss plays in this interaction. Finite-state compression and decompression are shown to be of equivalent difficulty, even when the decompressors are allowed to be lossy. Inspired by Kolmogorov complexity, this paper defines the optimal *decompression *ratio achievable on an infinite sequence by finite-state decompressors (that is, finite-state transducers outputting the sequence in question). It is shown that the optimal compression ratio achievable on a sequence S by any *information lossless* finite state compressor, known as the finite-state dimension of S, is equal to the optimal decompression ratio achievable on S by any finite-state decompressor. This result implies a new decompression characterization of finite-state dimension in terms of lossy finite-state transducers.

研究动机与目标

• 本论文研究有限状态维数是否可通过解压缩而非压缩来表征。
• 它探讨了在重建序列时，有损解压缩器是否比无损解压缩器更具优势。
• 目标是通过有限状态机器的解压缩，建立有限状态维数的新颖且稳健的表征方式。
• 它旨在证明，解压缩过程中的信息丢失并不会提高与无损解压缩相比的可实现解压缩比率。
• 该研究旨在通过将有限状态维数与压缩和解压缩过程联系起来，统一对其理解。

提出的方法

• 本论文将序列 S 的最优解压缩比率定义为使用有限状态转换器（FST）时的最小输入长度，记作 DkFS(S↾n)，即产生前缀 S↾n 所需的最小输入长度。
• 它引入了一种变换，可将任意有损 FST 转换为等价的无损 FST（ILFST），该转换器在‘无信息损失路径’上保持相同的输出行为。
• 该变换采用克隆技术，通过重定向转换路径以消除‘简单坏对’——即导致信息丢失的路径——从而在关键路径上保持单射性。
• 它证明了，对于任意有损 FST T，均存在一个 ILFST T′，使得 T′ 产生字符串 x 所需的最短输入长度不超过 T 产生 x 所需的最短输入长度。
• 该证明依赖于对 FST 的结构分析，包括输出集的后缀无关性以及转换路径中‘简单坏对’的概念。
• 它建立了 DkFS(S↾n)/n 的 lim inf 与经典有限状态维数之间的等价性，以及 DkFS(S↾n)/n 的 lim sup 与强维数之间的等价性。

实验结果

研究问题

• RQ1 是否可以使用有限状态转换器的解压缩而非压缩，等价地表征序列的有限状态维数？
• RQ2 在有限状态机中允许有损解压缩是否能提高与无损解压缩相比的可实现解压缩比率？
• RQ3 在有限状态级别上，压缩与解压缩之间是否存在根本性不对称，使得有损解压缩器优于无损解压缩器？
• RQ4 每个有损有限状态转换器是否都能被一个无损转换器模拟，且不损失解压缩效率？
• RQ5 序列的有限状态维数是否在解压器模型的选择下保持不变，包括有损模型？

主要发现

• 任何有限状态转换器（包括有损的）在序列 S 上所能达到的最优解压缩比率，等于 S 的有限状态维数。
• 对于每个有损有限状态转换器 T，均存在一个无损有限状态转换器 T′，使得 T′ 产生字符串 x 所需的最短输入长度不超过 T 产生 x 所需的最短输入长度。
• 有限状态维数 dimFS(S) 等于当 n→∞ 时 DkFS(S↾n)/n 的极限下确界，其中 DkFS(S↾n) 是任何 FST（有损或无损）输出 S↾n 所需的最小输入长度。
• 有限状态强维数 DimFS(S) 等于当 n→∞ 时 DkFS(S↾n)/n 的极限上确界。
• 即使允许解压器为有损，通过解压缩表征有限状态维数仍然成立，这意味着信息丢失并不会提高解压缩效率。
• 该结果意味着有限状态维数可通过压缩与解压缩两种方式稳健表征，统一了对有限状态机器信息密度的两种视角。