[论文解读] How random are a learner's mistakes?

Joel Ratsaby|arXiv (Cornell University)|Mar 21, 2009

Machine Learning and Algorithms参考文献 3被引用 4

一句话总结

本文分析了学习者使用 $k$ 阶马尔可夫模型对 $k^*$ 阶马尔可夫源生成的数据进行预测时产生的预测误差的随机性。推导出一个大偏差界，表明对 '0' 的预测中误差频率收敛于比特 '1' 的真实平稳概率 $\beta$，收敛速率取决于 $k$、$m$（训练样本量）和 $\nu$（零预测次数），从而建立了对误差偏差的概率控制。

ABSTRACT

Given a random binary sequence $X^{(n)}$ of random variables, $X_{t},$ $t=1,2,...,n$, for instance, one that is generated by a Markov source (teacher) of order $k^{*}$ (each state represented by $k^{*}$ bits). Assume that the probability of the event $X_{t}=1$ is constant and denote it by $β$. Consider a learner which is based on a parametric model, for instance a Markov model of order $k$, who trains on a sequence $x^{(m)}$ which is randomly drawn by the teacher. Test the learner's performance by giving it a sequence $x^{(n)}$ (generated by the teacher) and check its predictions on every bit of $x^{(n)}.$ An error occurs at time $t$ if the learner's prediction $Y_{t}$ differs from the true bit value $X_{t}$. Denote by $ξ^{(n)}$ the sequence of errors where the error bit $ξ_{t}$ at time $t$ equals 1 or 0 according to whether the event of an error occurs or not, respectively. Consider the subsequence $ξ^{(ν)}$ of $ξ^{(n)}$ which corresponds to the errors of predicting a 0, i.e., $ξ^{(ν)}$ consists of the bits of $ξ^{(n)}$ only at times $t$ such that $Y_{t}=0.$ In this paper we compute an estimate on the deviation of the frequency of 1s of $ξ^{(ν)}$ from $β$. The result shows that the level of randomness of $ξ^{(ν)}$ decreases relative to an increase in the complexity of the learner.

研究动机与目标

• 理解学习者使用参数化马尔可夫模型对来自更高阶马尔可夫源的数据进行预测时，预测误差的统计行为。
• 量化当学习者预测 '0' 而真实比特为 '1' 时，误差序列的偏差程度，特别是与真实平稳概率 $\beta$ 的偏离程度。
• 推导一个大偏差界，以控制在零预测子序列中误差频率偏离 $\beta$ 的显著程度的概率。
• 在模型误设情形下（即学习者使用 $k$ 阶模型，而真实源为 $k^*$ 阶）建立误差频率收敛的保证。
• 提供误差频率在零预测中偏离 $\beta$ 超过 $\epsilon$ 的概率的高概率界，作为 $k$、$m$、$\nu$ 和置信水平 $\delta$ 的函数。

提出的方法

• 将学习者的预测误差建模为一个二值序列 $\xi^{(n)}$，其中 $\xi_t = 1$ 表示预测 $y_t \neq x_{m+t}$，并聚焦于对应于 $y_t = 0$ 的预测的子序列 $\xi^{(\nu)}$。
• 定义 $\xi^{(\nu)}$ 中的误差频率为 $\|\Xi^{(\nu)}\| / \nu$，其中 $\|\Xi^{(\nu)}\|$ 表示在零预测中真实比特为 '1' 的错误数量。
• 利用大偏差理论，通过指数尾部界，限制该频率偏离真实平稳概率 $\beta = \mathbb{P}(X_t = 1)$ 超过 $\epsilon$ 的概率。
• 应用涉及随机转移矩阵 $M$ 和对角矩阵 $D_t^2$ 的矩阵分析技术，以界定期望误差频率，从而导出双线性形式表达式。
• 通过将概率分解为模型参数估计和使用集中不等式，推导出 $\mathbb{P}(E_{\hat{d},\epsilon}^{(\ell)})$ 的界，即零预测子序列中误差频率偏离 $\beta$ 超过 $\epsilon$ 的概率。
• 结合模型估计误差界（通过 $\overline{A}_r^{(k)}$）和误差频率偏离界（通过 $E_{d,\epsilon}^{(\ell)}$），推导出 $\epsilon$ 的最终高概率界，其作为 $k$、$m$、$\ell$ 和 $\delta$ 的函数。

实验结果

研究问题

• RQ1 预测中 '0' 的误差频率显著偏离数据中比特 '1' 的真实平稳概率 $\beta$ 的可能性有多大？
• RQ2 零预测中误差频率收敛至 $\beta$ 的速率是多少？其如何依赖于模型阶数 $k$、训练样本量 $m$ 和零预测次数 $\nu$？
• RQ3 当学习者使用 $k$ 阶模型而真实源为 $k^*$ 阶时，能否提供误差频率偏离 $\beta$ 的高概率界？
• RQ4 学习者的参数估计误差如何影响误差序列 $\xi^{(\nu)}$ 中的偏差？
• RQ5 为确保误差频率以高概率 $1 - \delta$ 落在 $\epsilon$ 以内，所需的最小样本量 $m$ 和零预测次数 $\nu$ 是多少？

主要发现

• 本文建立了误差频率在零预测中偏离 $\beta$ 超过 $\epsilon$ 的概率上界为 $2|A_r^{(k)}|\exp\{-2\ell\gamma\epsilon^2\} + \exp\{-2^{k-2}(r/2^k - \rho^{(m)})^2\}$，其中 $\ell$ 为零预测的最小次数。
• 对于任意 $\delta > 0$，偏差 $\epsilon$ 的上界为 $\sqrt{\frac{1}{2\ell\gamma}\left(2^k\left(\sqrt{\frac{1}{2^{k-2}}\ln(2/\delta)} + \rho^{(m)}\right)\ln\left(\frac{e}{\sqrt{1/2^{k-2}\ln(2/\delta)} + \rho^{(m)}}\right) + \ln 2 + \ln(4/\delta)\right)}$，该界以至少 $1 - \delta$ 的概率成立。
• 误差频率收敛至 $\beta$ 的速率由 $\ell$（零预测次数）和参数 $\gamma = \frac{1 - \lambda_0}{1 + \lambda_0}$ 控制，其中 $\lambda_0$ 为转移矩阵的第二大特征值。
• 误差频率偏离的界是在假设学习者模型参数从长度为 $m$ 的训练序列中估计的前提下推导的，且通过测度集中性控制参数估计误差。
• 所推导的界确保：当 $m$ 足够大且 $\ell$ 足够大时，模型估计误差和误差频率偏离可同时以高概率保持在较小范围内。
• 结果表明，即使学习者使用了阶数 $k < k^*$ 的误设模型，只要数据足够充分，零预测产生的误差序列仍以高概率在统计上接近真实 $\beta$。