[论文解读] Circumventing the Curse of Dimensionality in Prediction: Causal Rate-Distortion for Infinite-Order Markov Processes

Sarah Marzen, James P. Crutchfield|arXiv (Cornell University)|Dec 9, 2014

Neural dynamics and brain function参考文献 67被引用 5

一句话总结

本文引入因果率失真理论，通过使用前向和反向时间因果状态重新表述预测率失真，以克服预测无限阶马尔可夫过程时的维度灾难问题。该方法实现了准确且资源高效的预测，无需对长历史序列进行聚类，即使在有限记忆隐马尔可夫模型中也显著优于传统方法。

ABSTRACT

Predictive rate-distortion analysis suffers from the curse of dimensionality: clustering arbitrarily long pasts to retain information about arbitrarily long futures requires resources that typically grow exponentially with length. The challenge is compounded for infinite-order Markov processes, since conditioning on finite sequences cannot capture all of their past dependencies. Spectral arguments show that algorithms which cluster finite-length sequences fail dramatically when the underlying process has long-range temporal correlations and can fail even for processes generated by finite-memory hidden Markov models. We circumvent the curse of dimensionality in rate-distortion analysis of infinite-order processes by casting predictive rate-distortion objective functions in terms of the forward- and reverse-time causal states of computational mechanics. Examples demonstrate that the resulting causal rate-distortion theory substantially improves current predictive rate-distortion analyses.

研究动机与目标

• 为解决预测率失真分析中的维度灾难问题，即对长历史序列聚类导致资源呈指数级增长。
• 开发一种框架，实现在无需完整存储过去历史的情况下，对无限阶马尔可夫过程进行准确预测。
• 改进现有率失真方法在具有长程时间相关性或有限记忆隐马尔可夫模型中的失效问题。
• 建立一种基于因果状态作为充分统计量计算有损预测特征的系统性方法。
• 证明首先识别最大预测性模型可显著提升率失真性能。

提出的方法

• 通过前向时间因果状态 $\mathcal{S}^+$ 和反向时间因果状态 $\mathcal{S}^-$ 重新表述预测率失真目标，二者是预测的最小充分统计量。
• 通过变分优化拉格朗日函数 $\mathcal{L}_\beta$ 推导出最优码书 $p(r|\sigma^+)$ 的正式解，其中包含互信息项和失真项。
• 使用公式 $p(r|\sigma^+) = \frac{p(r)}{Z(\sigma^+)} e^{-\beta D_{KL}[p(\sigma^-|\sigma^+)||p(\sigma^-|r)]}$ 作为不动点映射，迭代收敛至最优码书。
• 通过利用因果状态结构避免显式聚类长历史序列，将该方法应用于无限阶马尔可夫过程。
• 基于推导出的方程，采用数值算法计算有损因果状态并评估预测性能。
• 通过与标准率失真方法比较验证该方法，结果表明其在准确性和资源需求方面均有显著改善。

实验结果

研究问题

• RQ1 能否在避免指数级资源增长的前提下，使预测率失真分析适用于无限阶马尔可夫过程？
• RQ2 与对有限长度历史进行聚类相比，使用因果状态作为充分统计量在率失真性能上有多大的提升？
• RQ3 当前率失真算法在具有长程时间相关性的过程或有限记忆隐马尔可夫模型中失效的程度如何？
• RQ4 因果状态与率失真框架中最佳有损预测特征之间存在何种关系？
• RQ5 在近似误差的函数下，预测特征的分层结构是否能自然地从因果率失真框架中涌现？

主要发现

• 因果率失真框架通过避免对任意长历史序列进行聚类，成功规避了维度灾难。
• 该方法在即使由有限记忆隐马尔可夫模型生成的过程中，也显著提升了预测率失真性能，而传统方法在此类情况下会失效。
• 正式解 $p(r|\sigma^+) = \frac{p(r)}{Z(\sigma^+)} e^{-\beta D_{KL}[p(\sigma^-|\sigma^+)||p(\sigma^-|r)]}$ 提供了一种稳定且可迭代的算法，用于计算最优码书。
• 随着近似误差的增加，自然涌现出预测特征的分层结构，其行为类似于其他系统中观察到的相变现象。
• 该方法仅依赖因果状态结构即可实现准确预测，避免了与长历史序列相关的指数级资源增长。
• 数值结果表明，首先识别最大预测性模型可显著优于基于聚类的标准方法，获得更优的率失真函数。