[論文レビュー] A refined primal-dual analysis of the implicit bias.

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Jun 11, 2019

Domain Adaptation and Few-Shot Learning被引用数 17

ひとこと要約

この論文は、線形分離可能なデータにおいて、正規化勾配降下法が最大マージン解に到達するためのタイトな収束レート O(ln(n)/ln(t)) を確立している。これは、正規化されたSVM双対目的関数における乗法的重み更新を誘発する勾配降下法の双対収束結果を証明することによって達成され、データセットサイズ n と訓練時間 t の両方における暗黙のバイアスレートを解消するものである。

ABSTRACT

Recent work shows that gradient descent on linearly separable data is implicitly biased towards the maximum margin solution. However, no convergence rate which is tight in both n (the dataset size) and t (the training time) is given. This work proves that the normalized gradient descent iterates converge to the maximum margin solution at a rate of O(ln(n)/ ln(t)), which is tight in both n and t. The proof is via a dual convergence result: gradient descent induces a multiplicative weights update on the (normalized) SVM dual objective, whose convergence rate leads to the tight implicit bias rate.

研究の動機と目的

• 線形分離可能なデータにおける正規化勾配降下法の収束レートを、データセットサイズ n と訓練時間 t の両面で理解するギャップを埋めること。
• 従来の研究が達成できなかった、n と t の両方において最適なレートとなるタイトな暗黙のバイアスレートを確立すること。
• 正規化勾配降下法の反復が、双対的視点を通じて最大マージン解に O(ln(n)/ln(t)) のレートで収束することを証明すること。
• 正規化勾配降下法の双対問題が、正規化されたSVM双対目的関数における既知の乗法的重み更新に対応することを示すこと。

提案手法

• 主双対フレームワークを用いて、線形分離可能なデータにおける正規化勾配降下法を分析し、主反復と双対更新を結びつける。
• 正規化勾配降下法プロセスの双対が、正規化されたSVM双対目的関数における乗法的重み更新に対応することを導出する。
• 双対収束レートを確立し、それが直接的に主空間における最大マージン解への収束レートを示す。
• n と t の両方における対数スケーリングを用いて、タイトな O(ln(n)/ln(t)) レートを導出し、両パラメータにおける最適性を示す。
• オンライン凸最適化と乗法的重み手法の技術を応用し、双対ギャップと収束速度をバインドする。
• n と t の両方における下界が一致することを示すことにより、収束レートがタイトであることを証明する。

実験結果

リサーチクエスチョン

• RQ1 データセットサイズ n と訓練時間 t の両方の観点から、正規化勾配降下法が最大マージン解に到達するための最もタイトな収束レートは何か？
• RQ2 暗黙のバイアスが、タイトなレートバウンドを可能にする双対定式化を通じて分析可能か？
• RQ3 正規化勾配降下法の双対問題は、乗法的重み更新のような既知の最適化更新に対応するか？
• RQ4 収束レート O(ln(n)/ln(t)) は n と t の両方においてタイトであり、双対収束を用いて証明可能か？

主な発見

• 正規化勾配降下法の反復は、データセットサイズ n と訓練時間 t の両方においてタイトなレート O(ln(n)/ln(t)) で最大マージン解に収束する。
• 正規化勾配降下法プロセスの双対は、正規化されたSVM双対目的関数における乗法的重み更新に正確に対応する。
• 双対空間における収束レートが直接的に主空間の収束レートを示し、タイトな解析を可能にする。
• レート O(ln(n)/ln(t)) は最適であり、n と t の両方における一致する下界が存在する。
• 本研究は、従来の文献で未解決であった、n と t の両方における暗黙のバイアスレートのタイト性に関するオープンな問いを解決する。
• 双対性を通じて、正規化勾配降下法と乗法的重みの間の正式な関係を確立し、暗黙のバイアスに関する新たな理論的知見を提供する。