[論文レビュー] Proving the Lottery Ticket Hypothesis: Pruning is All You Need

Eran Malach, Gilad Yehudai+2 more|arXiv (Cornell University)|Feb 3, 2020

Machine Learning and Algorithms参考文献 26被引用数 73

ひとこと要約

論文は lottery ticket hypothesis のより強い版を証明する。十分に過剰パラメータ化されたネットワークでランダムな重みがある場合、トレーニングなしで、制限付きの重みを持つターゲットネットワークに一致するサブネットワークが存在する。

ABSTRACT

The lottery ticket hypothesis (Frankle and Carbin, 2018), states that a randomly-initialized network contains a small subnetwork such that, when trained in isolation, can compete with the performance of the original network. We prove an even stronger hypothesis (as was also conjectured in Ramanujan et al., 2019), showing that for every bounded distribution and every target network with bounded weights, a sufficiently over-parameterized neural network with random weights contains a subnetwork with roughly the same accuracy as the target network, without any further training.

研究の動機と目的

• ニューロン網 pruning をモデルの圧縮手段として最小限の損失で動機付ける。
• 理論的に、ランダムな過剰パラメータ化ネットワークには、制限付きターゲットネットワークを近似するサブネットワークが含まれることを確立する。
• 重みサブネットワークとニューロンサブネットワークを区別し、それらの表現力を分析する。

提案手法

• 深さ l のネットワークが、十分な幅を持つ深さ 2l のランダムネットワークを重みサブネットワークを用いて剪定することで近似できることを示す。
• 浅い深さ 2 のネットワークは、最良のランダム特徴分類器と競合するニューロンサブネットワークを持つことを示す。
• 剪定を通じた ReLU ネットワークの近似を具体的に構成し、活性化重みをターゲットパラメータの関数として定量化する。
• 深さ 2 のターゲットに対してより強い結果を証明し、深さ 3 のランダムネットワークが近似に十分である。

実験結果

リサーチクエスチョン

• RQ1 十分に過剰パラメータ化されたランダムネットワークには、訓練なしで、制限付きの重みを持つターゲットネットワークを近似するサブネットワークが含まれるのか。
• RQ2 重みサブネットワークとニューロンサブネットワークの相対的な表現力はどの程度か。
• RQ3 剪定は universial approximation 能力の点でランダム特徴とどう関係するのか。
• RQ4 ランダムネットワークを剪定することで学習と計算困難度にどんな影響があるのか。

主な発見

• 深さ l の ReLU ネットワークは、幅が多項式である深さ 2l のランダムネットワークを剪定することで近似できる。
• 深さ 2 のターゲットに対して、ランダムな三層ネットワークは、重みサブネットワークを介してターゲットを O(dn) 活性化重みで近似するのに十分である。
• 重みサブネットワークは、ターゲットネットワークと同程度のパラメータ数で近似を達成し、定数倍の差にとどまる。
• ニューロンサブネットワークはランダム特徴と競合的であり、 mild 条件のもとで剪定されたニューロンとランダム特徴モデルの間に同等性を確立する。
• 剪定は普遍近似能力を生み出し、密なネットワークの訓練に関する計算困難性の知見を反映する。