[论文解读] Learning from many trajectories

Stephen Tu, Roy Frostig+1 more|arXiv (Cornell University)|Mar 31, 2022

Machine Learning and Algorithms被引用 9

一句话总结

本文研究从多个独立序列（轨迹）中进行监督学习，这些序列的协变量具有相关性。结果表明，当轨迹数量 $ m $ 超过输入维度 $ n $ 时，线性最小二乘回归的最坏情况误差率按 $ \Theta(n/mT) $ 缩放，与从 $ mT $ 个独立样本中学习的速率一致。这揭示了在 $ m \gtrsim n $ 时存在一个尖锐的统计效率跃迁，此时序列依赖性不再降低性能。

ABSTRACT

We initiate a study of supervised learning from many independent sequences ("trajectories") of non-independent covariates, reflecting tasks in sequence modeling, control, and reinforcement learning. Conceptually, our multi-trajectory setup sits between two traditional settings in statistical learning theory: learning from independent examples and learning from a single auto-correlated sequence. Our conditions for efficient learning generalize the former setting--trajectories must be non-degenerate in ways that extend standard requirements for independent examples. Notably, we do not require that trajectories be ergodic, long, nor strictly stable. For linear least-squares regression, given $n$-dimensional examples produced by $m$ trajectories, each of length $T$, we observe a notable change in statistical efficiency as the number of trajectories increases from a few (namely $m \lesssim n$) to many (namely $m \gtrsim n$). Specifically, we establish that the worst-case error rate of this problem is $Θ(n / m T)$ whenever $m \gtrsim n$. Meanwhile, when $m \lesssim n$, we establish a (sharp) lower bound of $Ω(n^2 / m^2 T)$ on the worst-case error rate, realized by a simple, marginally unstable linear dynamical system. A key upshot is that, in domains where trajectories regularly reset, the error rate eventually behaves as if all of the examples were independent, drawn from their marginals. As a corollary of our analysis, we also improve guarantees for the linear system identification problem.

研究动机与目标

• 理解从多个独立序列（轨迹）的协变量中学习的统计效率，该设置介于独立同分布学习与单序列学习之间。
• 刻画当数据由 $ m $ 条轨迹生成（每条长度为 $ T $，协变量为 $ n $ 维）时，普通最小二乘回归的最坏情况误差率。
• 识别当轨迹数量 $ m $ 相对于输入维度 $ n $ 足够大时，统计效率达到与独立样本相当的临界区域。
• 建立风险的精确上下界，揭示即使在无遍历性或长时域假设下，当 $ m \gtrsim n $ 时学习效率也存在相变现象。
• 通过利用多轨迹结构，改进线性系统辨识的泛化保证。

提出的方法

• 提出一种多轨迹学习框架，其中 $ m $ 个独立序列（轨迹）从随机过程中生成，每个协变量配有一个带噪声的线性标签。
• 引入‘轨迹小球’条件作为关键假设，以确保轨迹的统计可辨识性和非退化性，该条件推广了独立同分布的条件。
• 在协变量过程的线性动态系统（LDS）模型下分析线性最小二乘回归，其中状态演化为 $ x_t = A x_{t-1} + B w_t $，标签为 $ y_t = W_* x_t + \xi_t $。
• 利用浓度不等式和格拉姆矩阵的特征值分析，推导出预测风险的高概率上界，特别关注 $ \Theta_{1,T,T} $（轨迹的协方差）的结构。
• 通过一个边际不稳定LDS的反例建立紧的下界，表明当 $ m \lesssim n $ 时，误差率退化为 $ \Omega(n^2 / m^2 T) $，凸显了该相变现象。
• 利用块解耦和三对角矩阵的特征值分析，在轨迹数量较少的区域推导下界，表明除非 $ m \gtrsim n $，否则依赖性无法被完全消除。

实验结果

研究问题

• RQ1 当从 $ m $ 条轨迹中学习，每条轨迹长度为 $ T $，协变量维度为 $ n $ 时，普通最小二乘回归的最坏情况误差率是多少？
• RQ2 当轨迹数量 $ m $ 相对于输入维度 $ n $ 增加时，误差率如何变化，特别是在 $ m \lesssim n $ 与 $ m \gtrsim n $ 的区域？
• RQ3 从许多短时、依赖的轨迹中学习的统计效率是否能与从 $ mT $ 个来自边际分布的独立样本中学习相匹配？
• RQ4 对轨迹生成过程（如线性动态系统）需要满足何种条件，才能使误差率缩放为 $ \Theta(n/mT) $，且该速率是否不可改进？
• RQ5 在轨迹数量较少的区域（$ m \lesssim n $）中，风险如何表现，此类设置下的性能基本极限是什么？

主要发现

• 当 $ m \gtrsim n $ 时，对 $ m $ 条长度为 $ T $ 的轨迹进行线性最小二乘回归的最坏情况风险为 $ \Theta(n/mT) $，与从 $ mT $ 个独立同分布样本中学习的速率一致。
• 在轨迹数量较少的区域（$ m \lesssim n $），最坏情况风险为 $ \Omega(n^2 / m^2 T) $，该结果由一个边际不稳定的线性动态系统实现，表明依赖性导致了根本性的性能下降。
• $ m \gtrsim n $ 处的跃迁标志着统计效率的显著变化：在此之后，误差率表现得如同所有样本都是独立的一样，尽管每条轨迹内部高度依赖。
• 风险上界通过轨迹小球条件和经验格拉姆矩阵的浓度性质推导，实现了对协方差矩阵逆的高概率控制。
• 下界是紧的，并通过一个具有近似不稳定特征值的特定线性动态系统构造，表明在轨迹数量较少的区域，$ \Omega(n^2 / m^2 T) $ 的速率是不可避免的。
• 作为推论，本文改进了线性系统辨识的泛化保证，表明轨迹数量 $ m $ 在估计精度中起着关键作用，且 $ m \gtrsim n $ 是实现最优缩放的必要条件。