[論文レビュー] Characterizing the implicit bias via a primal-dual analysis

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Jun 11, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用数 15

ひとこと要約

本稿は、線形分離可能なデータにおける勾配降下法の原始的・双対的解析を提供し、その暗黙的なバイアスが滑らかなマージンを用いた双対最適化問題の解によって正確に特徴付けられることを示している。指数的損失の場合、定数ステップサイズと攻撃的ステップサイズのそれぞれに対して、$\ell_2$ 最大マージン方向への収束レートが、それぞれ $O(\text{ln}(n)/\text{ln}(t))$ および $O(\text{ln}(n)/t)$ でタイトに保証され、従来の $\widetilde{O}(1/\sqrt{t})$ および最適でない $O(1/t)$ レートを改善している。

ABSTRACT

This paper shows that the implicit bias of gradient descent on linearly separable data is exactly characterized by the optimal solution of a dual optimization problem given by a smoothed margin, even for general losses. This is in contrast to prior results, which are often tailored to exponentially-tailed losses. For the exponential loss specifically, with $n$ training examples and $t$ gradient descent steps, our dual analysis further allows us to prove an $O(\ln(n)/\ln(t))$ convergence rate to the $\ell_2$ maximum margin direction, when a constant step size is used. This rate is tight in both $n$ and $t$, which has not been presented by prior work. On the other hand, with a properly chosen but aggressive step size schedule, we prove $O(1/t)$ rates for both $\ell_2$ margin maximization and implicit bias, whereas prior work (including all first-order methods for the general hard-margin linear SVM problem) proved $\widetilde{O}(1/\sqrt{t})$ margin rates, or $O(1/t)$ margin rates to a suboptimal margin, with an implied (slower) bias rate. Our key observations include that gradient descent on the primal variable naturally induces a mirror descent update on the dual variable, and that the dual objective in this setting is smooth enough to give a faster rate.

研究の動機と目的

• 線形分離可能なデータにおける勾配降下法の暗黙的バイアスを、指数的尾をもたない一般の損失関数に対しても特徴付けること。
• さまざまなステップサイズスケジュール下での $\ell_2$ 最大マージン方向への方向収束に対するタイトな収束レートを確立すること。
• 勾配降下法が原始的空間で実行されることで、双対空間でミラー降下が誘導されることを示し、双対の滑らかさを活用してより速い収束を実現すること。
• ハードマージン線形SVM問題における一次順序法のマージン最大化レートの最適性についての未解決問題を解消すること。

提案手法

• 滑らかなマージン関数によって定義される双対最適化問題を用いて、暗黙的バイアスを形式化すること。
• 勾配降下法が双対変数におけるミラー降下更新を誘導することを分析し、双対目的関数の滑らかさを活用すること。
• 双対反復と最適な双対解との間のブレグマン発散をバウンディングすることで収束レートを導出すること。
• 進捗を追跡し、$O(1/t)$ および $O(\text{ln}(n)/\text{ln}(t))$ レートを確立するために、原始的・双対的リャプノフ関数を用いること。
• 定数および攻撃的ステップサイズスケジュールに適用して、タイトなレートを達成すること。
• 先行研究および既知の下界との比較を通じて、レートのタイト性を証明すること。

実験結果

リサーチクエスチョン

• RQ1 一般の損失関数（指数的尾をもたないものも含む）に対して、線形分離可能なデータにおける勾配降下法の暗黙的バイアスの正確な特徴付けは何か？
• RQ2 従来の $\widetilde{O}(1/\sqrt{t})$ バウンディングと比較して、$\ell_2$ 最大マージン方向への方向収束に対するよりタイトな収束レートを証明できるか？
• RQ3 攻撃的ステップサイズスケジュールにより、最大マージンおよび暗黙的バイアスの両方に対して $O(1/t)$ 収束が達成可能であり、そのレートがタイトであるか？
• RQ4 原始的・双対的視点は、標準的な原始的解析と比較して、なぜより速い収束を明らかにするのか？
• RQ5 双対の滑らかさを活用することで、従来の $O(1/\sqrt{t})$ レートよりも速い収束を達成できるか？

主な発見

• 一般の損失関数（0に漸近するもの）に対して、正規化された勾配降下反復は、滑らかなマージンを用いた双対問題の解に $O(1/\sqrt{t})$ のレートで収束する。
• 定数ステップサイズの場合、$\ell_2$ 最大マージン方向への方向収束は、タイトな $O(\text{ln}(n)/\text{ln}(t))$ レートを達成し、明示的な $n$ 依存性のない従来の $O(1/\text{ln}(t))$ レートを改善している。
• 指数的損失の場合、攻撃的ステップサイズスケジュールにより、$\ell_2$ マージンおよび暗黙的バイアスの両方への収束レートが $O(\text{ln}(n)/t)$ で達成され、これはタイトであり、従来の $\widetilde{O}(1/\sqrt{t})$ および最適でない $O(1/t)$ レートを改善している。
• 原始的・双対的解析により、原始的空間での勾配降下法が双対空間でミラー降下を誘導することが明らかとなり、双対目的関数の滑らかさがより速い $O(1/t)$ 収束レートを可能にしている。
• この分析により、$O(\text{ln}(n)/t)$ レートが $n$ および $t$ の両方においてタイトであることが証明され、ハードマージン線形SVMにおける一次順序法の最適性に関する未解決問題が解消された。
• 結果は、多項式的尾をもつ損失関数や指数的尾をもつ損失関数を含む広範な損失関数クラスに対して成り立ち、従来の指数的尾に制限された研究を拡張している。