[论文解读] Learning, complexity and information density

Joel Ratsaby|ArXiv.org|Aug 31, 2009

Machine Learning and Algorithms参考文献 5被引用 4

一句话总结

本文研究了通过 sysRatio（信息密度的代理指标）衡量的机器学习者复杂度如何影响其预测错误的随机性。利用在二进制序列上训练的马尔可夫模型学习者，研究揭示了一个临界阈值 ρ*，当 sysRatio ≤ ρ* 时，错误序列与随机性的偏离度低，且算法复杂度的方差也低；当 sysRatio > ρ* 时，这些特性急剧增加，表明由于模型过度复杂化，导致随机性丧失。

ABSTRACT

What is the relationship between the complexity of a learner and the randomness of his mistakes? This question was posed in \cite{rat0903} who showed that the more complex the learner the higher the possibility that his mistakes deviate from a true random sequence. In the current paper we report on an empirical investigation of this problem. We investigate two characteristics of randomness, the stochastic and algorithmic complexity of the binary sequence of mistakes. A learner with a Markov model of order $k$ is trained on a finite binary sequence produced by a Markov source of order $k^{*}$ and is tested on a different random sequence. As a measure of learner's complexity we define a quantity called the \emph{sysRatio}, denoted by $ρ$, which is the ratio between the compressed and uncompressed lengths of the binary string whose $i^{th}$ bit represents the maximum \emph{a posteriori} decision made at state $i$ of the learner's model. The quantity $ρ$ is a measure of information density. The main result of the paper shows that this ratio is crucial in answering the above posed question. The result indicates that there is a critical threshold $ρ^{*}$ such that when $ρ\leqρ^{*}$ the sequence of mistakes possesses the following features: (1)\emph{}low divergence $Δ$ from a random sequence, (2) low variance in algorithmic complexity. When $ρ>ρ^{*}$, the characteristics of the mistake sequence changes sharply towards a\emph{}high\emph{$Δ$} and high variance in algorithmic complexity.

研究动机与目标

• 研究学习者复杂度与预测错误随机性之间的关系。
• 确定学习者结构复杂度是否影响其误差序列的随机性特征。
• 引入并验证 sysRatio 作为捕捉学习者复杂度的信息密度度量方法。
• 通过实证方法检验假设：存在一个复杂度阈值，超过该阈值后，错误序列将显著偏离随机性。

提出的方法

• 学习者使用 k 阶马尔可夫模型来预测由 k* 阶马尔可夫源生成的测试序列中的比特。
• sysRatio ρ 计算为在所有模型状态中最大后验概率决策序列的压缩长度与未压缩长度之比。
• 使用标准近似方法估计错误序列 ξ₀^(n) 的算法复杂度 ℓ₀ 和偏离度 Δ₀。
• 通过改变 k（模型阶数）来调节 ρ，并在多次试验中测量 ℓ₀ 和 Δ₀ 的统计特性。
• 将阈值 ρ* 确定为 ℓ₀ 和 Δ₀ 的方差急剧上升的点，表明错误序列随机性发生了相变。
• 本研究采用学习者的黑箱视角，关注输出的随机性，而非预测准确性。

实验结果

研究问题

• RQ1 学习者复杂度（通过 sysRatio 衡量）如何影响其预测错误的随机性？
• RQ2 是否存在一个 sysRatio 的临界阈值，超过该阈值后错误序列会失去其随机特性？
• RQ3 错误序列的算法复杂度和偏离度在多大程度上随学习者复杂度而变化？
• RQ4 学习者模型阶数与决策规则的信息密度（sysRatio）之间是否存在结构性关系？

主要发现

• 存在一个临界阈值 ρ*，当 sysRatio ρ ≤ ρ* 时，错误序列与随机序列的偏离度 Δ₀ 较低，且算法复杂度的方差也较低。
• 当 ρ > ρ* 时，错误序列的偏离度 Δ₀ 和算法复杂度 ℓ₀ 的方差均急剧增加，表明随机性丧失。
• 阈值 ρ* 对应于真实马尔可夫源的模型阶数 k*，表明学习者复杂度与数据源复杂度之间存在结构对齐。
• 当模型阶数 k 超过 k* 后，sysRatio ρ 增加，但决策向量 d 的熵增长速率逐渐降低，原因是概率估计的确定性增强。
• 结果表明，sysRatio ρ 是信息密度的稳健度量，且作为随机性偏离的指示器，优于单独使用模型阶数 k。
• 结果支持理论预测：更高的学习者复杂度会导致输入随机性的更大失真，且在 ρ* 处出现急剧的相变。