[論文レビュー] REPrune: Filter Pruning via Representative Election

Min-Cheol Park, Woojeong Kim+1 more|arXiv (Cornell University)|Jul 14, 2020

Internet Traffic Analysis and Secure E-voting参考文献 39被引用数 4

ひとこと要約

REPruneは、ノルムに基づく基準に依存せず、クラスタリングを用いて代表的なフィルタを選択する新しいフィルタープルーニング手法を提案する。これにより、モデル圧縮と精度回復が向上する。凝集型クラスタリングとシルエット係数を用いて情報量の多いフィルタを特定することで、CIFAR-10用ResNet-110ではFLOPsを49%以上削減し、精度を0.53%向上させた。ImageNet用ResNet-18では、FLOPsを41.8%削減し、Top-1損失を1.67%低減した。

ABSTRACT

Even though norm-based filter pruning methods are widely accepted, it is questionable whether the "smaller-norm-less-important" criterion is optimal in determining filters to prune. Especially when we can keep only a small fraction of the original filters, it is more crucial to choose the filters that can best represent the whole filters regardless of norm values. Our novel pruning method entitled "REPrune" addresses this problem by selecting representative filters via clustering. By selecting one filter from a cluster of similar filters and avoiding selecting adjacent large filters, REPrune can achieve a better compression rate with similar accuracy. Our method also recovers the accuracy more rapidly and requires a smaller shift of filters during fine-tuning. Empirically, REPrune reduces more than 49% FLOPs, with 0.53% accuracy gain on ResNet-110 for CIFAR-10. Also, REPrune reduces more than 41.8% FLOPs with 1.67% Top-1 validation loss on ResNet-18 for ImageNet.

研究の動機と目的

• 高頻度のプルーニング比下で、ノルムが小さいほど重要性が低いと仮定するノルムベースのフィルタープルーニングの限界を解消すること。
• 各層のフィルタ分布を最もよく表現するフィルタを選択することで、モデル圧縮と精度保持を向上させること。
• 元のモデルと構造的類似性を保つフィルタを維持することで、ファインチューニング中のフィルタ重みのシフトを低減すること。
• 高品質で代表的なフィルタを選択することで、ファインチューニング中の検証精度の収束を高速化すること。
• 極めて高い圧縮率の条件下でも、ResNetのような高度に最適化されたモデルに対して有効であることを示すこと。

提案手法

• 各畳み込み層内でフィルタの特徴類似度に基づいて、凝集型クラスタリングを適用してフィルタをグループ化する。
• クラスタの品質を評価し、各クラスタで最も代表的なフィルタを特定するためにシルエット係数を用いる。
• クラスタの重心に最も近いフィルタを代表フィルタとして選択し、クラスタの分布を最もよく捉えるようにする。
• 隣接する大きなノルムを持つフィルタの選択を避けるために、各クラスタ間で代表フィルタの多様性を確保する。
• 各層ごとに動的プルーニングを実行し、計算コストが最も高い高レベル層に多くのフィルタを保持する。
• 元のフィルタとプルーニング後のフィルタのコサイン類似度が高いため、重みの変化を最小限に抑えたファインチューニングを実行する。

実験結果

リサーチクエスチョン

• RQ1 極めて高いプルーニング比下でも、分布的類似性に基づくフィルタ選択がノルムベースの基準を上回るか？
• RQ2 クラスタリングを用いて代表フィルタを選択することで、ノルムベースの手法に比べてファインチューニング中の精度回復が速くなるか？
• RQ3 分布に配慮したプルーニングを用いた場合、ファインチューニング前後におけるフィルタ間のコサイン類似度はどの程度高いままであるか？
• RQ4 CIFAR-10 や ImageNet といった標準ベンチマークにおいて、REPrune は FLOPs 削減と精度保持の両面でどの程度の性能を示すか？
• RQ5 REPrune は、攻撃的なプルーニング下でも、ResNet のような高度に最適化されたアーキテクチャのモデル性能を維持できるか？

主な発見

• CIFAR-10用ResNet-110では、REPruneがFLOPsを49%以上削減し、元のモデルと比較して0.53%の精度向上を達成した。
• ImageNet用ResNet-18では、FLOPsを41.8%削減し、ベースラインと比較してTop-1検証損失を1.67%低減した。
• REPruneを用いたプルーニングモデルは、ノルムベースの手法よりも4倍速く検証精度を回復させ、10エポックで他の手法が40エポックかかって達成する精度に到達した。
• ファインチューニング前後におけるフィルタ間のコサイン類似度は、REPruneでは平均して~0.4～0.6と高く、SFP や FPGM よりも顕著に高い（-0.1～0.1の範囲で70%以上の類似度）。
• REPruneは、層全体にわたり青色に近いコサイン類似度のヒートマップを維持しており、ノルムベース手法が示す白・赤のパターンとは異なり、フィルタの方向性が一貫して保存されていることが示された。
• CIFAR-100用ResNet-56では、パラメータを83.3%削減したにもかかわらず、8.84倍の推論速度向上を達成し、精度低下はたった2.6%にとどまった。