[论文解读] Characterizing the implicit bias via a primal-dual analysis

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Jun 11, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用 15

一句话总结

本文通过原-对偶分析研究了在线性可分数据上梯度下降的隐式偏差，表明其隐式偏差可精确刻画为带有平滑边际的对偶优化问题的解。对于指数损失，本文在恒定步长和激进步长下分别建立了到 $\ell_2$ 最大边际方向的紧致收敛速率 $O(\text{ln}(n)/\text{ln}(t))$ 和 $O(\text{ln}(n)/t)$，优于先前的 $\widetilde{O}(1/\sqrt{t})$ 和次优的 $O(1/t)$ 速率。

ABSTRACT

This paper shows that the implicit bias of gradient descent on linearly separable data is exactly characterized by the optimal solution of a dual optimization problem given by a smoothed margin, even for general losses. This is in contrast to prior results, which are often tailored to exponentially-tailed losses. For the exponential loss specifically, with $n$ training examples and $t$ gradient descent steps, our dual analysis further allows us to prove an $O(\ln(n)/\ln(t))$ convergence rate to the $\ell_2$ maximum margin direction, when a constant step size is used. This rate is tight in both $n$ and $t$, which has not been presented by prior work. On the other hand, with a properly chosen but aggressive step size schedule, we prove $O(1/t)$ rates for both $\ell_2$ margin maximization and implicit bias, whereas prior work (including all first-order methods for the general hard-margin linear SVM problem) proved $\widetilde{O}(1/\sqrt{t})$ margin rates, or $O(1/t)$ margin rates to a suboptimal margin, with an implied (slower) bias rate. Our key observations include that gradient descent on the primal variable naturally induces a mirror descent update on the dual variable, and that the dual objective in this setting is smooth enough to give a faster rate.

研究动机与目标

• 为包括非指数尾部损失在内的广义损失类，刻画梯度下降在线性可分数据上的隐式偏差。
• 在各种步长调度下，建立方向收敛至 $\ell_2$ 最大边际方向的紧致收敛速率。
• 证明梯度下降在原问题上的优化会诱导对偶空间上的镜像下降，从而利用对偶目标的光滑性实现更快收敛。
• 解决关于一阶方法在硬边际线性SVM问题中边际最大化速率最优性的开放问题。

提出的方法

• 通过由平滑边际函数定义的对偶优化问题形式化隐式偏差。
• 将梯度下降分析为在对偶变量上诱导镜像下降更新，利用对偶目标的光滑性。
• 通过有界对偶迭代与最优对偶解之间的Bregman散度推导收敛速率。
• 使用原-对偶李雅普诺夫函数追踪进展，建立 $O(1/t)$ 和 $O(\text{ln}(n)/\text{ln}(t))$ 的收敛速率。
• 将分析应用于恒定和激进步长调度，以获得紧致速率。
• 通过与先前工作及已知下界比较，证明速率的紧致性。

实验结果

研究问题

• RQ1 对于一般损失（超越指数尾部），梯度下降在线性可分数据上的隐式偏差的精确刻画是什么？
• RQ2 与先前的 $\widetilde{O}(1/\sqrt{t})$ 界相比，能否为方向收敛至 $\ell_2$ 最大边际方向证明更紧致的收敛速率？
• RQ3 激进步长调度是否能实现对最大边际和隐式偏差的 $O(1/t)$ 收敛速率，且该速率是否紧致？
• RQ4 原-对偶视角如何揭示比标准原问题分析更快的收敛性？
• RQ5 能否利用对偶光滑性实现优于先前已知的 $O(1/\sqrt{t})$ 速率的更快收敛？

主要发现

• 对于渐近趋于零的一般损失，归一化梯度下降迭代收敛至带有平滑边际的对偶问题的解，收敛速率为 $O(1/\sqrt{t})$。
• 在恒定步长下，方向收敛至 $\ell_2$ 最大边际方向的速率达到紧致的 $O(\text{ln}(n)/\text{ln}(t))$，优于先前不显式依赖 $n$ 的 $O(1/\text{ln}(t))$ 速率。
• 对于指数损失，激进步长调度下，对 $\ell_2$ 边际和隐式偏差的收敛速率均为 $O(\text{ln}(n)/t)$，该速率紧致，优于先前的 $\widetilde{O}(1/\sqrt{t})$ 和次优的 $O(1/t)$ 速率。
• 原-对偶分析表明，原问题上的梯度下降诱导对偶空间上的镜像下降，且对偶目标的光滑性使得 $O(1/t)$ 收敛速率成为可能。
• 该分析证明 $O(\text{ln}(n)/t)$ 速率在 $n$ 和 $t$ 上均紧致，解决了关于硬边际线性SVM一阶方法最优性的开放问题。
• 结果适用于广义损失类，包括多项式尾部和指数尾部损失，扩展了先前仅限于指数尾部的工作。