[論文レビュー] Weighted Optimization: better generalization by smoother interpolation.

Yuege Xie, Rachel Ward+2 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 22被引用数 8

ひとこと要約

この論文は、過パラメータ化モデルにおける滑らかな補間への暗黙的バイアスと一般化性能の向上の間の理論的リンクを確立する。ランダムフーリエ級数モデルと重み付き最小二乗法を用いて、重み正規化などの正規化手法が滑らかな解を好むことで一般化性能が向上することを示し、過パラメータ化設定におけるこのメカニズムの最初の厳密な事例研究を提供する。

ABSTRACT

We provide a rigorous analysis of how implicit bias towards smooth interpolations leads to low generalization error in the overparameterized setting. We provide the first case study of this connection through a random Fourier series model and weighted least squares. We then argue through this model and numerical experiments that normalization methods in deep learning such as weight normalization improve generalization in overparameterized neural networks by implicitly encouraging smooth interpolants.

研究の動機と目的

• 過パラメータ化モデルにおける滑らかな補間と低一般化誤差の関係を調査すること。
• 重み付き最小二乗法およびランダムフーリエ級数モデルにおける滑らかさへの暗黙的バイアスを分析すること。
• 重み正規化などの正規化手法が滑らかな解を促すことで一般化性能が向上する仕組みを説明すること。
• 標準的なバイアス・バリアンスのトレードオフを超えた滑らかさの一般化における役割を理論的かつ実験的に裏付ける基盤を提供すること。

提案手法

• 著者らは、制御された滑らかさを持つ過パラメータ化関数を表現するためにランダムフーリエ級数モデルを用いる。
• 高周波成分に低い重みを割り当てることで、補間における滑らかさを強制する重み付き最小二乗法を適用する。
• 明示的なペナルティ項なしに、重み付けによって正則化に類似した効果を導入する。
• 理論的分析により、特定の条件下で解が滑らかな補間関数に収束することを示す。
• 数値実験により、過パラメータ化設定において滑らかな補間関数がより良い一般化性能を示すことを検証する。
• このフレームワークを拡張し、ディープラーニングにおける重み正規化を、暗黙的に滑らかな補間関数を促進するものとして解釈する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化モデルにおける滑らかな補間への暗黙的バイアスは、一般化誤差をどのように低減するか？
• RQ2 標準的最小二乗法と比較して、重み付き最小二乗法はどの程度滑らかな解を促進するか？
• RQ3 重み正規化のような正規化手法は、滑らかな補間を暗黙的に促進するメカニズムと捉えられるか？
• RQ4 周波数成分の構成は、過パラメータ化モデルの一般化性能において果たす役割は何か？
• RQ5 ランダムフーリエ級数モデルは、滑らかな補間における一般化を研究するためのテストベッドとしてどのように機能するか？

主な発見

• 重み付き最小二乗法は標準的最小二乗法と比較してより滑らかな補間関数を生成し、一般化誤差が低くなる。
• ランダムフーリエ級数モデルは、過パラメータ化設定において滑らかな解がより良い一般化性能を示すことを示している。
• 重み正規化のような正規化手法は、暗黙的に滑らかな補間関数を促進するため、ディープラーニングにおけるその実証的成功を説明できる。
• 理論的分析により、過パラメータ化領域における滑らかさへの暗黙的バイアスが一般化誤差を低減することが確認された。
• 数値実験により、さまざまな周波数構成において滑らかな補間関数がより優れた一般化性能を示すことが検証された。
• 本研究は、過パラメータ化モデルにおける滑らかな補間、暗黙的バイアス、一般化の間の関係を初めて厳密に検証した事例研究を提供した。