[論文レビュー] Dual Lottery Ticket Hypothesis

Yue Bai, Huan Wang+3 more|arXiv (Cornell University)|Mar 8, 2022

Machine Learning and Data Classification被引用数 11

ひとこと要約

本論文は、密度行列からランダムに初期化された部分ネットワークが、ランダムスパースネットワーク変換（RST）と呼ばれる新しい正則化に基づく訓練戦略を用いることで、トレーニング可能で高い性能を示すモデルに変換可能であるという、二重ロトスティックチケット仮説（DLTH）を提唱する。RSTは事前学習を必要とせず、ロトスティックチケット仮説（LTH）と同等の性能を達成しており、重み正則化と情報抽出を用いることでランダムな部分ネットワークをトレーニング可能にすることができることを示しており、スパースネットワーク学習のより柔軟で汎用性の高いアプローチを提供する。

ABSTRACT

Fully exploiting the learning capacity of neural networks requires overparameterized dense networks. On the other side, directly training sparse neural networks typically results in unsatisfactory performance. Lottery Ticket Hypothesis (LTH) provides a novel view to investigate sparse network training and maintain its capacity. Concretely, it claims there exist winning tickets from a randomly initialized network found by iterative magnitude pruning and preserving promising trainability (or we say being in trainable condition). In this work, we regard the winning ticket from LTH as the subnetwork which is in trainable condition and its performance as our benchmark, then go from a complementary direction to articulate the Dual Lottery Ticket Hypothesis (DLTH): Randomly selected subnetworks from a randomly initialized dense network can be transformed into a trainable condition and achieve admirable performance compared with LTH -- random tickets in a given lottery pool can be transformed into winning tickets. Specifically, by using uniform-randomly selected subnetworks to represent the general cases, we propose a simple sparse network training strategy, Random Sparse Network Transformation (RST), to substantiate our DLTH. Concretely, we introduce a regularization term to borrow learning capacity and realize information extrusion from the weights which will be masked. After finishing the transformation for the randomly selected subnetworks, we conduct the regular finetuning to evaluate the model using fair comparisons with LTH and other strong baselines. Extensive experiments on several public datasets and comparisons with competitive approaches validate our DLTH as well as the effectiveness of the proposed model RST. Our work is expected to pave a way for inspiring new research directions of sparse network training in the future. Our code is available at https://github.com/yueb17/DLTH.

研究の動機と目的

• ランダムに初期化された密度行列からランダムに選択された部分ネットワークが、強力な性能を示すトレーニング可能な構成に変換可能かどうかを調査すること。
• 従来のロトスティックチケット仮説（LTH）の焦点を再考し、逆問題を検討する：任意のランダムな部分ネットワークが「勝利チケット」として機能可能かどうか。
• 反復的マグニチュードプルーニングや事前学習に依存せずに、多様なスパース構造に一般化可能な訓練戦略を開発すること。
• ResNetアーキテクチャを用いてCIFAR-10、CIFAR-100、ImageNetサブセットで広範な実験を通じて仮説を検証すること。
• 密度行列とその部分ネットワークの内部的関係に焦点を当てることで、スパースネットワーク学習の新たな視点を提供すること。

提案手法

• ランダムに選択された部分ネットワークを、学習能力を高める正則化項を導入することで、トレーニング可能な構成に変換するためのランダムスパースネットワーク変換（RST）戦略を提案する。
• 正則化項を用いて、マスクされていない重みから学習能力を借り、マスクされた重みからの情報抽出を促進する。
• RSTプロセス後、変換された部分ネットワークに対して反復的ファインチューニングを適用し、LTHや他のベースラインと公平に比較可能にする。
• GraSPに基づく層ごとのスパースリティ比を用いて、異なるスパースリティレベルで一貫性があり公正な評価を保証する。
• RSTフレームワークを、ResNet56やResNet18を含むさまざまなスパースリティ比とネットワークアーキテクチャに適応可能にする。
• 反復的変換サイクル数とスパースリティレベルのアブレーションスタディを実施し、反復的変換が性能に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 ランダムに初期化された密度行列からランダムに選択された部分ネットワークが、LTHにおける「勝利チケット」と同等の性能を示すトレーニング可能な構成に変換可能か？
• RQ2 提案されたRST戦略により、事前学習や反復的マグニチュードプルーニングを必要とせずに、ランダムな部分ネットワークが強力な一般化性能を達成可能か？
• RQ3 GraSPのような既存の初期化時プルーニング手法と比較して、RSTの性能は異なるスパースリティレベルでどのように異なるか？
• RQ4 反復的変換サイクル数とスパースリティ比は、変換された部分ネットワークの最終的性能にどのような影響を及えるか？
• RQ5 RST戦略は、異なるデータセットやネットワークアーキテクチャに一般化可能であり、高い性能を維持できるか？

主な発見

• CIFAR-10において50%スパースリティでRSTはトップ1正解率92.69% ± 0.13を達成し、GraSPの91.72%を上回り、ベースラインの93.50%に近い性能を示した。
• CIFAR-100では50%スパースリティでRSTが70.18% ± 0.29を達成し、GraSPの67.88%を上回り、より高いスパースリティレベルでも強力な一般化性能を示した。
• ResNet18を用いたImageNetサブセットでは、70%スパースリティでRSTが76.95%のトップ1正解率を達成し、GraSPの75.20%を上回り、より高いスパースリティレベルでも優れた性能を維持した。
• アブレーションスタディの結果、RSTは1〜5回の反復サイクルにおいても安定した性能を維持し、98%の高スパースリティでも最小限の性能低下を示しており、高スパースリティに対して高いロバストネスを示した。
• LTHよりも少ないトレーニングサイクルで競争力のある結果を達成しており、スパースネットワーク学習における計算コストの削減の可能性を示唆している。
• 結果は二重ロトスティックチケット仮説を検証しており、正則化と反復的ファインチューニングを用いることで、ランダムな部分ネットワークを高性能なモデルに変換可能であることを示している。