[论文解读] On the Sample Complexity of Stability Constrained Imitation Learning

Stephen Tu, Alexander Robey+2 more|arXiv (Cornell University)|Feb 18, 2021

Reinforcement Learning in Robotics参考文献 57被引用 17

一句话总结

本文引入了增量增益稳定性（IGS）作为专家策略中鲁棒轨迹收敛性的度量，并表明在 IGS 约束下的模仿学习算法，其样本复杂度随任务时域 $T$ 呈次线性增长，即使在不假设强凸性的情况下亦成立。关键结果是，当专家策略表现出 IGS 时，模仿学习可被证明更加高效，泛化误差以 $T^{1-1/a}$ 的速率衰减，其中 $a \geq 1$ 量化了稳定性强度。

ABSTRACT

We study the following question in the context of imitation learning for continuous control: how are the underlying stability properties of an expert policy reflected in the sample-complexity of an imitation learning task? We provide the first results showing that a surprisingly granular connection can be made between the underlying expert system's incremental gain stability, a novel measure of robust convergence between pairs of system trajectories, and the dependency on the task horizon $T$ of the resulting generalization bounds. In particular, we propose and analyze incremental gain stability constrained versions of behavior cloning and a DAgger-like algorithm, and show that the resulting sample-complexity bounds naturally reflect the underlying stability properties of the expert system. As a special case, we delineate a class of systems for which the number of trajectories needed to achieve $\varepsilon$-suboptimality is sublinear in the task horizon $T$, and do so without requiring (strong) convexity of the loss function in the policy parameters. Finally, we conduct numerical experiments demonstrating the validity of our insights on both a simple nonlinear system for which the underlying stability properties can be easily tuned, and on a high-dimensional quadrupedal robotic simulation.

研究动机与目标

• 理解专家策略的稳定性特性如何影响连续控制中模仿学习的样本复杂度。
• 形式化一种新的增量增益稳定性（IGS）概念，该概念推广了收缩理论，并量化了鲁棒轨迹收敛性。
• 开发具有可证明泛化界约束的 IGS-模仿学习算法（行为克隆与 DAgger 类算法）。
• 表明当稳定性减弱时，样本复杂度会平滑退化，从而避免损失函数中强凸性的需求。
• 通过非线性与高维机器人系统上的数值实验验证理论洞见。

提出的方法

• 提出增量增益稳定性（IGS）作为系统轨迹之间鲁棒收敛性的新度量，由参数 $a \in [1, \infty)$ 参数化，其中 $a$ 越大表示更强的指数收敛性。
• 制定 IGS 约束下的行为克隆与一种 DAgger 类算法，其中策略类被限制以维持 IGS。
• 利用 Rademacher 复杂度与基于稳定性的正则化推导泛化界，将界与 $T^{1-1/a}$ 关联，其中 $T$ 为任务时域。
• 建立 $\varepsilon$-次优性对应的样本复杂度，其规模为 $m \gtrsim q \cdot T^{2a(1-1/a^2)} \cdot \varepsilon^{-2a}$，其中 $q$ 为有效参数数量。
• 利用集中不等式与递归误差传播，界定向期望的模仿损失，表明在 IGS 条件下其衰减速率与 $T^{1-1/a}$ 成正比。
• 通过在可调非线性系统与高维四足机器人模拟器上的数值实验验证理论。

实验结果

研究问题

• RQ1 专家策略的增量增益稳定性（IGS）如何影响模仿学习的样本复杂度？
• RQ2 在不假设损失函数强凸性的情况下，IGS 约束的模仿学习能否实现对任务时域 $T$ 的次线性依赖？
• RQ3 IGS 参数 $a$ 与模仿学习中所得泛化误差界之间的确切关系为何？
• RQ4 所提出的 IGS 约束 DAgger 类算法相较于标准 DAgger 如何缓解协变量偏移？
• RQ5 理论样本复杂度界在非线性与高维机器人系统上的实际应用中在多大程度上成立？

主要发现

• IGS 约束的行为克隆需要 $m \gtrsim q \cdot T^{2a(1-1/a^2)} \cdot \varepsilon^{-2a}$ 条轨迹才能实现 $\varepsilon$-次优性，明确体现了对专家稳定性参数 $a$ 的依赖。
• 泛化误差界以 $T^{1-1/a}$ 的速率衰减，表明更强的稳定性（$a \to 1$）导致对 $T$ 的次线性依赖，而更弱的稳定性（$a \to \infty$）则退化为线性或更差。
• 对于所有 $a \in [1, \infty)$，样本复杂度界在 $T$ 上均为次线性，即使在策略参数中不假设强凸性亦成立。
• 理论分析表明，误差衰减为 $\mathbb{E}[\ell] \lesssim L_{\Delta} \gamma (\zeta B_0^{\alpha_0} \bar{L})^{1/a^2} T^{(1-1/a)(1+1/a^2)} \left( \frac{E^{2a+1}(q \vee \log E)}{m} \right)^{1/(2a^2)}$，确认了 $a$ 在塑造收敛速率中的作用。
• 数值实验证实理论洞见在实践中成立，表明在非线性系统与高维四足机器人上均实现了更高的数据效率。
• 本研究通过提供稳定性强度与样本复杂度之间连续且可量化的联系，推广了基于收缩理论学习的先前观察结果。