[論文レビュー] Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets

Tianlong Chen, Xuxi Chen+3 more|arXiv (Cornell University)|Feb 9, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、反復的マグニチュードプルーニングを用いて得られた非構造的勝利ネットワークに対して後処理技術（再充填と再グループ化）を適用することにより、ハードウェアに優しいチャネル単位およびグループ単位のスパarsityを持つ構造的スパースなラッキーチケット（勝利サブネットワーク）を発見する最初の手法を提案する。この手法は、ImageNet上で36–80%のスパarsityにおいて、精度に低下を来さずに最大64.93%の推論スピードアップを達成し、標準GPU上で実用的な高速化を可能にする。

ABSTRACT

The lottery ticket hypothesis (LTH) has shown that dense models contain highly sparse subnetworks (i.e., winning tickets) that can be trained in isolation to match full accuracy. Despite many exciting efforts being made, there is one "commonsense" rarely challenged: a winning ticket is found by iterative magnitude pruning (IMP) and hence the resultant pruned subnetworks have only unstructured sparsity. That gap limits the appeal of winning tickets in practice, since the highly irregular sparse patterns are challenging to accelerate on hardware. Meanwhile, directly substituting structured pruning for unstructured pruning in IMP damages performance more severely and is usually unable to locate winning tickets. In this paper, we demonstrate the first positive result that a structurally sparse winning ticket can be effectively found in general. The core idea is to append "post-processing techniques" after each round of (unstructured) IMP, to enforce the formation of structural sparsity. Specifically, we first "re-fill" pruned elements back in some channels deemed to be important, and then "re-group" non-zero elements to create flexible group-wise structural patterns. Both our identified channel- and group-wise structural subnetworks win the lottery, with substantial inference speedups readily supported by existing hardware. Extensive experiments, conducted on diverse datasets across multiple network backbones, consistently validate our proposal, showing that the hardware acceleration roadblock of LTH is now removed. Specifically, the structural winning tickets obtain up to {64.93%, 64.84%, 60.23%} running time savings at {36%~80%, 74%, 58%} sparsity on {CIFAR, Tiny-ImageNet, ImageNet}, while maintaining comparable accuracy. Code is at https://github.com/VITA-Group/Structure-LTH.

研究の動機と目的

• 非構造的ラッキーチケットの実用的限界、すなわち不規則なスパarsityパターンのためのハードウェアでの非効率性を解消すること。
• 初期化から訓練した場合に、依然として元のフルモデルの精度に一致する構造的スパースサブネットワークが勝利チケットとして成立するかを調査すること。
• 性能劣化を伴わずに非構造的勝利ネットワークを構造的スパースなものに変換する後処理フレームワークを開発すること。
• チャネル単位およびグループ単位の構造的パターンを導入することで、標準GPUアーキテクチャを用いたラッキーチケットのハードウェア高速化を可能にすること。
• ラッキーチケット仮説の核となる利点（高いスパarsityと初期化からのトレーニング可能性）を損なわず、構造的スパarsityを達成できることを示すこと。

提案手法

• 反復的マグニチュードプルーニング（IMP）を適用し、高いスパarsityと完全な精度を持つ非構造的勝利ネットワークを同定する。
• 再充填技術を用いて、最も重要なチャネルのプルーニングされた重みを回復させ、チャネル単位の構造的スパarsityを形成する。
• ハイパーグラフ分割に基づく再グループ化アルゴリズムを適用し、非ゼロ要素を柔軟な、グループ化された密集ブロックに再編成することで、グループ単位の構造的スパarsityを実現する。
• 得られた構造的サブネットワークを元のランダム初期化から再訓練し、それが真の勝利チケットであるかを検証する。
• 二段階プロセスを採用：まず非構造的プルーニングを行い、次に再充填と再グループ化による後処理で構造的パターンを強制する。
• CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNetといった多様なデータセットおよびVGG-16、ResNet-18といったネットワークアーキテクチャで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 チャネル単位およびグループ単位の構造的パターンを持つ構造的スパースサブネットワークは、初期化から訓練した場合に、元の密度モデルと同等の精度を達成できる勝利チケットとみなせるか？
• RQ2 IMPフレームワークにおいて非構造的プルーニングを構造的プルーニングに置き換えると、性能が著しく劣化し、勝利チケットが得られなくなるか？
• RQ3 非構造的IMPの後に適用される後処理技術（再充填と再グループ化）は、精度やスピードアップの可能性を損なわず、サブネットワークを構造的スパースなものに効果的に変換できるか？
• RQ4 標準GPUハードウェア上で、構造的スパースな勝利チケットを用いることで、どの程度のハードウェア高速化が達成可能か？（特化したアクセcelレータを必要としない。）
• RQ5 初期の非構造的マスク（例：IMP、GraSP、SynFlow）の種類が、最終的な構造的サブネットワークの性能にどのように影響するか？

主な発見

• 提案手法IMP-Regroupは、ImageNet上での36–80%のスパarsityにおいて、精度に低下を来さずに最大64.93%のGPU実行時間の削減を達成した。
• グループ単位の構造的勝利チケットは、VGG-16の最後の数層で最大6.67倍のレイヤー単位のスピードアップを達成し、特に高い圧縮比で顕著な恩恵を受ける。
• IMP-Regroupは、IMP-Refill(+)およびIMPを上回り、VGG-16/CIFAR-100では60.60%、ResNet-18/CIFAR-100では55.45%のスピードアップを達成した。
• 再充填技術は、重要なチャネルを的確に同定・回復でき、中程度のスパarsityで約50%の実行時間削減を実現するチャネル単位の構造的勝利チケットを可能にした。
• ハイパーグラフ分割に基づく再グループ化アルゴリズムにより、柔軟で高圧縮のグループ単位のパターンが実現され、標準GPU上で高速化が可能になった。
• IMPおよびOMPは、再グループ化のための初期非構造的マスクとして最高の品質を示し、最終的な構造的サブネットワークの優れた性能をもたらした。