[論文レビュー] On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent

Shahar Azulay, Edward Moroshko+5 more|arXiv (Cornell University)|Feb 19, 2021

Stochastic Gradient Optimization Techniques参考文献 25被引用数 7

ひとこと要約

本稿では、無限小ミラー降下（IMD）の限界を超えて、過パラメータ化されたニューラルネットワークにおける勾配フローの暗黙的バイアスを特徴付けるための新規手法を提案する。主に層間の重みの相対的スケール、すなわち初期化の形状に注目し、それを分析することで、さまざまなアーキテクチャにおける閉形式の暗黙的正則化子を導出する。特に、重みが結合されていない対角ネットワーク、全結合2層ネットワーク、および1つのReLUニューロンに対して、初期化の形状が一般化性能を決定づける重要な要因であることが明らかになる。

ABSTRACT

Recent work has highlighted the role of initialization scale in determining the structure of the solutions that gradient methods converge to. In particular, it was shown that large initialization leads to the neural tangent kernel regime solution, whereas small initialization leads to so called "rich regimes". However, the initialization structure is richer than the overall scale alone and involves relative magnitudes of different weights and layers in the network. Here we show that these relative scales, which we refer to as initialization shape, play an important role in determining the learned model. We develop a novel technique for deriving the inductive bias of gradient-flow and use it to obtain closed-form implicit regularizers for multiple cases of interest.

研究の動機と目的

• 層間の重みの相対的スケール（初期化の形状）が、過パラメータ化モデルにおける勾配降下の帰納的バイアスに与える影響を理解すること。
• 現実的で非自明なアーキテクチャでは暗黙的バイアスを特徴付けられない無限小ミラー降下（IMD）の限界を克服すること。
• 従来の手法が失敗する多層および非線形ネットワークを含む、モデルに対して正確な暗黙的正則化子を導出する汎用的なフレームワークを構築すること。
• 初期化の形状が特定の解への収束に与える役割を、NTKや「豊かな」領域を超えた領域でも調査すること。
• 2層全結合ネットワークやReLUネットワークを含む、より複雑で実用的な深層学習アーキテクチャにおける暗黙的バイアスの理論的理解を拡張すること。

提案手法

• モデルのダイナミクスを再パrameter化する新規技術を導入し、それらを無限小ミラー降下（IMD）として表現可能にすることで、暗黙的バイアスを保持しつつ解析可能にする。
• 非線形な「時間歪み」変換を用いて、元のダイナミクスをIMDフレームワークにマッピングし、暗黙的正則化子の導出を可能にする。
• 解の経路に影響を及げないパラメータライゼーションにおける自由度を同定し、ダイナミクスの再表現を可能にする。
• 対角ネットワーク（重みが結合されていない）、初期化がゼロに近い全結合2層線形ネットワーク、および1つのリークリReLUニューロンに対して、閉形式の暗黙的正則化子を導出する。
• KKT条件と双対性を用いて、最終的な解が制約付きの正則化目的関数の最小化に対応することを示す。
• 初期化の主要パラメータとして、スケール（α）、形状（s）、バランス（δ）を定義し、それらの間の関係を導出し、暗黙的バイアスを特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 層間の重みの相対的スケール（初期化の形状）が、深層ネットワークにおける勾配降下の暗黙的バイアスにどのように影響を与えるか？
• RQ2 現実的で非自明なアーキテクチャにおいて、無限小ミラー降下の枠組みを超えて勾配フローの暗黙的バイアスを特徴付けられるか？
• RQ3 初期化がゼロに近い2層全結合線形ネットワークに対して、正確な暗黙的正則化子は何か？
• RQ4 特定の初期化形状をとる場合、1つのリークリReLUニューロンにおける勾配フローの暗黙的バイアスはどのように変化するか？
• RQ5 提案手法は、従来のIMDに基づくアプローチが失敗するモデルに対しても、閉形式の正則化子を導出できるか？

主な発見

• 本稿では、スケールだけでなく、初期化の形状が深層学習における勾配降下の帰納的バイアスを決定づける決定的要因であることが確立された。
• 重みが結合されていない対角ネットワークでは、暗黙的バイアスが初期化の形状に依存する正則化目的関数の最小化に対応する。
• 初期化がゼロに近い2層全結合線形ネットワークでは、解が層間の初期化スケールの相対的関係を反映する正則化ノルムの最小化を実現する。
• 1つのリークリReLUニューロンでは、暗黙的バイアスが非凸的かつ非滑らかな正則化目的関数の最小化に導き、最適解はKKT条件を満たす。
• 導出された暗黙的正則化子は閉形式であり、スケール（α）、形状（s）、バランス（δ）という初期化パラメータに明示的に依存しており、それらの間には代数的恒等式による関係が示された。
• 時間歪みによる再パラメータライゼーションにより、従来のIMDでは取り扱いが困難だった標準的な2層ReLUネットワークなど、以前は解析不能とされたモデルに対しても、暗黙的バイアスを的確に特徴付けることに成功した。