[論文レビュー] Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection

Mao Ye, Chengyue Gong+4 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Neural Network Applications参考文献 52被引用数 37

ひとこと要約

この論文は、貪欲な前方選択がスクラッチからの訓練よりも低い損失を持つ小さなサブネットワークを見つけることができることを証明し、ImageNetモデルでの強力な経験的剪択結果を示す。

ABSTRACT

Recent empirical works show that large deep neural networks are often highly redundant and one can find much smaller subnetworks without a significant drop of accuracy. However, most existing methods of network pruning are empirical and heuristic, leaving it open whether good subnetworks provably exist, how to find them efficiently, and if network pruning can be provably better than direct training using gradient descent. We answer these problems positively by proposing a simple greedy selection approach for finding good subnetworks, which starts from an empty network and greedily adds important neurons from the large network. This differs from the existing methods based on backward elimination, which remove redundant neurons from the large network. Theoretically, applying the greedy selection strategy on sufficiently large {pre-trained} networks guarantees to find small subnetworks with lower loss than networks directly trained with gradient descent. Our results also apply to pruning randomly weighted networks. Practically, we improve prior arts of network pruning on learning compact neural architectures on ImageNet, including ResNet, MobilenetV2/V3, and ProxylessNet. Our theory and empirical results on MobileNet suggest that we should fine-tune the pruned subnetworks to leverage the information from the large model, instead of re-training from new random initialization as suggested in \citet{liu2018rethinking}.

研究の動機と目的

• 前方選択による剪択が、スクラッチから訓練した場合よりも小さなサブネットワークを得られる理由を動機づける。
• 事前学習済みの大規模ネットワークからサブネットワークを構築するための単純な貪欲前方選択アルゴリズムを提案する。
• 穏やかな仮定の下で、剪定サブネットワークの損失減衰に関する理論的保証を提供する。
• ImageNetアーキテクチャ（ResNet、MobileNetバリアント、ProxylessNet）での強力な経験的剪択性能を示す。
• 剪定サブネットワークのファインチューニングとランダム初期化からの再訓練の実務的影響を議論する。

提案手法

• 大規模ネットワークから最大n個のニューロンを選択して損失を最小化するというサブネットワーク選択問題を定義する。
• 前方の貪欲規則を提案する：各ステップで、L[f_{S ∪ {i}}] を最小化するニューロン i を追加する。
• f_S を S のニューロンの活性化の平均として、元の重みを保持する。
• 穏やかな仮定（仮定1）の下で、貪欲手続きは L[f_{S_n}] = O(1/n) + L_N^* を達成することを示す。
• 大規模ネットワークが十分に過パラメータ化されている場合、より速いレート L[f_{S_n}] = O(1/n^2) を示す（仮定2）。
• 仮定2を過パラメータ化および Frank-Wolfe 内部点条件と関連付ける。
• ランダムに重み付けされたネットワーク（Lottery Ticket 文脈）への拡張と、前方選択 vs 後方除去の比較。
• 深層ネットワーク向けの実践的なアルゴリズム1を層ごとに提供し、剪定後のファインチューニング vs 再訓練を論じる。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習済みネットワーク内に、スクラッチから訓練した同サイズのネットワークよりも優れる良好な小さなサブネットワークは存在するか。
• RQ2 単純な貪欲前方選択手順が、こうしたサブネットワークを発見し、有利な損失減衰率を示すことを理論的に証明できるか。
• RQ3 理論的保証は、小さなネットワークの勾配降下訓練および後方除去剪択とどのように比較されるか。
• RQ4 現代のアーキテクチャとデータセット（例：ImageNet）で理論結果が経験的に裏付けられているか。

主な発見

• 貪欲な前方選択は、サイズnのサブネットワークを得た場合、損失 L[f_{S_n}] が一般に O(1/n) + L_N^* となる。
• 大規模ネットワークが十分に過パラメータ化されていれば、L[f_{S_n}] は O(1/n^2) になる。
• O(1/n^2) のレートは、無作為に初期化された大規模ネットワーク（独立同分布の重み）にも拡張される。
• 剪定されたサブネットワークは、特にモバイルアーキテクチャで、ImageNet の FLOPs 制約下で同程度のサイズのネットワークをスクラッチから訓練した場合よりも性能を上回ることが多い。
• 剪定後のモバイルネットのファインチューニングは、スクラッチからの再訓練より一貫して改善をもたらし、理論と整合している。
• 前方選択は、ResNet34とMobileNetV2で、剪択の効率と精度の点で後方除去より経験的に優れている。