[论文解读] Accelerated Learning with Robustness to Adversarial Regressors

Joseph E. Gaudio, Anuradha M. Annaswamy+3 more|arXiv (Cornell University)|May 4, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 12

一句话总结

本文提出了一种新颖的离散时间参数更新算法，通过结合自适应控制理论与凸优化洞见，在时间变化、对抗性回归变量下实现了加速学习并保证了稳定性。在恒定回归变量下，该算法达到了 $\tilde{\mathcal{O}}(1/\sqrt{\epsilon})$ 的收敛速率——与 Nesterov 的下界 $\Omega(1/\sqrt{\epsilon})$ 仅相差一个 $\log(1/\epsilon)$ 因子——并在任意时间变化的回归变量下确保了稳定性。

ABSTRACT

High order momentum-based parameter update algorithms have seen widespread applications in training machine learning models. Recently, connections with variational approaches have led to the derivation of new learning algorithms with accelerated learning guarantees. Such methods however, have only considered the case of static regressors. There is a significant need for parameter update algorithms which can be proven stable in the presence of adversarial time-varying regressors, as is commonplace in control theory. In this paper, we propose a new discrete time algorithm which 1) provides stability and asymptotic convergence guarantees in the presence of adversarial regressors by leveraging insights from adaptive control theory and 2) provides non-asymptotic accelerated learning guarantees leveraging insights from convex optimization. In particular, our algorithm reaches an $ε$ sub-optimal point in at most $ ilde{\mathcal{O}}(1/\sqrtε)$ iterations when regressors are constant - matching lower bounds due to Nesterov of $Ω(1/\sqrtε)$, up to a $\log(1/ε)$ factor and provides guaranteed bounds for stability when regressors are time-varying. We provide numerical experiments for a variant of Nesterov's provably hard convex optimization problem with time-varying regressors, as well as the problem of recovering an image with a time-varying blur and noise using streaming data.

研究动机与目标

• 解决在控制理论与在线学习中常见的时间变化或对抗性回归变量下，加速学习算法缺乏稳定性保证的问题。
• 将此前仅适用于静态回归变量的加速学习方法，拓展至具有动态、非独立同分布输入的实际应用场景。
• 在恒定与时间变化回归变量条件下，提供理论上的收敛性与稳定性保证。
• 设计一种实用且可实现的离散时间算法，在保持快速收敛的同时对输入变化具有鲁棒性。
• 在图像去模糊等挑战性问题上展示其有效性，使用流式数据处理时间变化的模糊与噪声。

提出的方法

• 利用自适应控制理论的洞见，通过高阶调节器机制，在对抗性时间变化回归变量下确保稳定性。
• 整合变分优化原理，实现加速收敛，收敛速率与 Nesterov 的下界 $\Omega(1/\sqrt{\epsilon})$ 仅相差一个 $\log(1/\epsilon)$ 因子。
• 提出一种离散时间算法，包含三个关键变量：$\theta_k$（参数估计值）、$\nu_{k+1}$（基于动量的更新）和 $\vartheta_k$（用于自适应的辅助状态）。
• 引入正则化项 $\mu(\theta_k - \theta_0)$，并通过 $\mathcal{N}_k = \|\phi_k\|^2_2$ 对更新进行归一化，以在回归变量范数变化时稳定学习过程。
• 采用时变学习率 $\bar{\alpha}$ 和由 $\beta$ 与 $\mu$ 推导出的自适应步长 $\gamma$，确保在动态条件下实现收敛。
• 采用两阶段更新机制：首先使用 $\phi_k(\phi_k^T\theta_k - y_k)$ 进行类似梯度的校正，随后通过 $\beta$ 与 $\gamma$ 实现基于动量的更新。

实验结果

研究问题

• RQ1 在控制与在线学习中常见的时变、对抗性回归变量下，能否保证加速学习？
• RQ2 当回归变量非静态时，如何对加速优化方法的形式化稳定性进行证明？
• RQ3 在动态回归变量条件下，Nesterov 风格方法的收敛速率能在多大程度上得以保持？
• RQ4 何种超参数调优策略可确保在时变环境中实现快速收敛与鲁棒性？
• RQ5 在时间变化模糊的图像去模糊等实际流式问题中，所提方法与标准梯度下降及 Nesterov 加速方法相比表现如何？

主要发现

• 在恒定回归变量下，所提算法实现了 $\tilde{\mathcal{O}}(1/\sqrt{\epsilon})$ 的收敛速率，与 Nesterov 的下界 $\Omega(1/\sqrt{\epsilon})$ 仅相差一个 $\log(1/\epsilon)$ 因子。
• 通过采用源自自适应控制的正则化与归一化方法，在任意时间变化的回归变量下保证了稳定性。
• 在时间变化模糊的图像去模糊任务中，高阶调节器在损失减少与图像重建质量方面均优于标准 Nesterov 与梯度下降方法。
• 当引入噪声（$N(0, 0.02)$）时，$\mu = 0.1$ 的调节器相比 $\mu = 0$ 显著提升了重建质量。
• 增加 $l_1$ 正则化项可进一步提升性能，尽管该情况下的理论分析仍为开放问题。
• 在所有测试的时间变化回归变量场景（包括正弦变化的模糊强度）下，该算法保持稳定，而基线方法则出现发散。