[論文レビュー] On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks

M. Paganini, Jessica Zosa Forde|arXiv (Cornell University)|Jan 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 4

ひとこと要約

本論文は、重みリワインドを伴う反復的ニューラルネットワーク pruning を調査し、特定の pruning 技術に応じて複数の高性能でスパースな部分ネットワーク（ワインピングチケット）が出現することを示している。magnitudeベースの非構造的 pruning にリワインドを適用することで、構造的 pruning と類似した接続パターンが得られ、また、重みの安定性が性能と強く相関していることが判明した。これは、遅延リセットがなくても成立する。

ABSTRACT

We examine how recently documented, fundamental phenomena in deep learning models subject to pruning are affected by changes in the pruning procedure. Specifically, we analyze differences in the connectivity structure and learning dynamics of pruned models found through a set of common iterative pruning techniques, to address questions of uniqueness of trainable, high-sparsity sub-networks, and their dependence on the chosen pruning method. In convolutional layers, we document the emergence of structure induced by magnitude-based unstructured pruning in conjunction with weight rewinding that resembles the effects of structured pruning. We also show empirical evidence that weight stability can be automatically achieved through apposite pruning techniques.

研究の動機と目的

• 同じ過パラメータ化されたネットワーク内に、pruning 方法に依存しない複数の高性能でスパースな部分ネットワーク（ワインピングチケット）が存在するかを調査すること。
• 異なる反復的 pruning 技術が、pruned モデルの接続構造と学習ダイナミクスに与える影響を分析すること。
• pruned ネットワークにおいて、fine-tuning と比較して重みリワインドが構造的および性能上の利点をもたらすかを評価すること。
• 重みの安定性が反復的 pruning の成功に果たす役割と、モデル性能との相関関係を評価すること。
• 非構造的 vs. 構造的 pruning、およびランダム vs. magnitudeベースの pruning の有効性を比較し、トレーニング可能なスパース部分ネットワークを特定する能力を評価すること。

提案手法

• MNIST および CIFAR-10 を用いて、小規模なアーキテクチャ（LeNet, AlexNet, VGG-11）上で反復的 pruning 技術を実験的に比較する。
• 初期重み分布を pruning の各反復間で保持するために、magnitudeベースの非構造的 pruning に加えて重みリワインドを適用する。
• 入力チャネルに沿った構造的 pruning を用いて、非構造的 pruning + リワインドと接続パターンを比較する。
• 連続する pruning 反復間の重み値の絶対差を計算することで、重みの安定性を測定する。
• テスト精度を用いて性能を評価し、さまざまな pruning 方法における汎化行動を分析する。
• 異なる pruning 手順間で、pruned ネットワークのマスク（すなわち、接続パターン）の類似度を可視化し、比較する。

実験結果

リサーチクエスチョン

• RQ1 異なる pruning 技術が、同じ過パラメータ化されたネットワーク内に、それぞれ異なる高性能な部分ネットワーク（すなわち、複数のワインピングチケット）をもたらすか？
• RQ2 各 pruning 反復後に重みリワインドを適用することで、特に入力特徴選択の観点から、構造的 pruning と類似した接続構造が得られるか？
• RQ3 pruning 方法の選択が、最終的なマスクの構造的類似度および pruning 中の重みの安定性に与える影響は何か？
• RQ4 pruning 中の重み安定性と最終モデル性能との間に相関関係があるか？
• RQ5 異なる pruning 技術が、ホールドアウトされたテストセットで異なる誤りを生じさせるか？これは、アンサンブル手法の有用性を示唆する。

主な発見

• 同じ過パラメータ化されたネットワーク内に、使用する pruning 技術に応じて複数の高性能でスパースな部分ネットワーク（ワインピングチケット）が存在し、ワインピングチケットの非一意性を示している。
• magnitudeベースの非構造的 pruning に重みリワインドを適用することで、入力次元に沿った構造的 pruning と類似した接続パターンが得られ、これは入力特徴選択効果を示唆している。
• pruning 中の重み安定性は最終モデル性能と強く相関しており、遅延リセットがなくても適切な pruning 技術により達成可能である。
• 『ハイブリッド』pruning 法（構造的および非構造的 pruning を組み合わせたもの）は、最も高い重み安定性を示し、pruning の各反復間で重みの順序変化が最小限に抑えられる。
• ランダムな構造的 pruning は、ランダムな非構造的 pruning よりも優れている。これは、ネットワークがランダムなチャネル／ユニットの削除に対して、ランダムな接続の削除よりもより耐性があることを示している。
• 異なる pruning 技術が、テストセットで異なる誤りを生じさせる。これは、こうしたモデルをアンサンブル化することで汎化性能を向上させられることを示唆している。