[论文解读] A refined primal-dual analysis of the implicit bias.

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Jun 11, 2019

Domain Adaptation and Few-Shot Learning被引用 17

一句话总结

本文通过证明对偶收敛结果，即归一化梯度下降在归一化支持向量机对偶目标上诱导出乘法权重更新，从而揭示了归一化梯度下降在可线性分离数据上收敛至最大间隔解的紧致收敛速率 O(ln(n)/ln(t))，该速率在数据集大小 n 和训练时间 t 两方面均达到最优，解决了隐式偏差速率在 n 和 t 两方面的理论缺口。

ABSTRACT

Recent work shows that gradient descent on linearly separable data is implicitly biased towards the maximum margin solution. However, no convergence rate which is tight in both n (the dataset size) and t (the training time) is given. This work proves that the normalized gradient descent iterates converge to the maximum margin solution at a rate of O(ln(n)/ ln(t)), which is tight in both n and t. The proof is via a dual convergence result: gradient descent induces a multiplicative weights update on the (normalized) SVM dual objective, whose convergence rate leads to the tight implicit bias rate.

研究动机与目标

• 为填补对归一化梯度下降在可线性分离数据上收敛速率的理解缺口，特别是针对数据集大小 n 和训练时间 t 两方面的分析。
• 建立在 n 和 t 两方面均最优的隐式偏差速率，这是此前研究未能实现的目标。
• 通过对偶视角证明，归一化梯度下降迭代过程以 O(ln(n)/ln(t)) 的速率收敛至最大间隔解。
• 证明归一化梯度下降的对偶问题对应于对归一化支持向量机对偶目标的乘法权重更新，从而实现紧致速率分析。

提出的方法

• 采用原始-对偶框架分析归一化梯度下降在可线性分离数据上的行为，将原始迭代与对偶更新建立联系。
• 推导出归一化梯度下降过程的对偶形式对应于对归一化支持向量机对偶目标的乘法权重更新。
• 建立对偶收敛速率，该速率可直接推出原始空间中向最大间隔解的收敛速率。
• 通过在 n 和 t 上采用对数尺度，推导出紧致的 O(ln(n)/ln(t)) 收敛速率，证明该速率在两个参数上均达到最优。
• 应用在线凸优化与乘法权重技术，以界定期对偶间隙与收敛速度。
• 通过证明在 n 和 t 两方面均存在匹配的下界，验证收敛速率的紧致性。

实验结果

研究问题

• RQ1 归一化梯度下降收敛至最大间隔解的最紧致可能收敛速率，在数据集大小 n 和训练时间 t 两方面，其表达式为何？
• RQ2 是否可通过一种对偶形式分析归一化梯度下降的隐式偏差，从而实现紧致的速率界？
• RQ3 归一化梯度下降的对偶问题是否对应于已知的优化更新方式（如乘法权重更新）？
• RQ4 收敛速率 O(ln(n)/ln(t)) 在 n 和 t 两方面是否均为紧致的？是否可通过对偶收敛性加以证明？

主要发现

• 归一化梯度下降迭代过程以 O(ln(n)/ln(t)) 的速率收敛至最大间隔解，且该速率在数据集大小 n 和训练时间 t 两方面均为紧致。
• 归一化梯度下降过程的对偶形式恰好对应于对归一化支持向量机对偶目标的乘法权重更新。
• 对偶空间中的收敛速率可直接推出原始空间的收敛速率，从而实现紧致分析。
• 速率 O(ln(n)/ln(t)) 为最优，因在 n 和 t 两方面均存在匹配的下界。
• 本工作解决了文献中长期未解的关于隐式偏差速率在 n 和 t 两方面紧致性的开放问题。
• 该分析通过对偶性建立了归一化梯度下降与乘法权重之间的正式联系，为隐式偏差提供了新的理论洞见。