[論文レビュー] How Not to Give a FLOP: Combining Regularization and Pruning for Efficient Inference

Tai Vu, Emily Wen+1 more|arXiv (Cornell University)|Mar 30, 2020

Image Enhancement Techniques参考文献 31被引用数 4

ひとこと要約

本論文では、ResNetアーキテクチャにおいて、mixupとcutout正則化をソフトフィルタープルーニングと組み合わせることで、精度を損なわず、FLOPsの削減と推論効率の向上を同時に実現する手法を提案している。組み合わせにより、ベースラインモデル比で最大14.8%のFLOPs削減と最大2.03%の精度向上を達成し、単独で用いる場合よりも優れた性能を示した。

ABSTRACT

The challenge of speeding up deep learning models during the deployment phase has been a large, expensive bottleneck in the modern tech industry. In this paper, we examine the use of both regularization and pruning for reduced computational complexity and more efficient inference in Deep Neural Networks (DNNs). In particular, we apply mixup and cutout regularizations and soft filter pruning to the ResNet architecture, focusing on minimizing floating-point operations (FLOPs). Furthermore, by using regularization in conjunction with network pruning, we show that such a combination makes a substantial improvement over each of the two techniques individually.

研究の動機と目的

• リソース制約のあるデバイスにおける推論処理におけるディープニューラルネットワークの計算非効率性を解消すること。
• 正則化とプルーニングが、競合的ではなく、相乗的に組み合わせて効果を発揮するかを調査すること。
• これまでの研究でほとんど検討されていなかった、正則化が計算コストに与える影響を評価すること。
• 顕著なFLOPs削減を達成しつつ、精度の低下を最小限に抑えることで、DNNの効率的デプロイメントを実現すること。
• 正則化とプルーニングの組み合わせが、個別に適用した場合よりも優れた性能を発揮することを検証すること。

提案手法

• 一般化性とロバスト性の向上を目的に、訓練段階でmixupおよびcutout正則化を適用した。
• 低マグニチュードの畳み込みフィルタを削除することで、パラメータ数とFLOPsを削減するため、ソフトフィルタープルーニングを用いた。
• CIFAR-10で、ResNetアーキテクチャ（20, 32, 44, 56, 110）を、正則化とプルーニングを組み合わせて訓練した。
• 各層で10%のフィルタを保持するよう、プルーニングレートを0.9に設定することで、顕著なFLOPs削減を達成した。
• FLOPsと精度を指標として、コントロール、正則化のみ、プルーニングのみ、および組み合わせモデルの性能を比較した。
• 標準ベンチマークを用いて、計算コストと精度のトレードオフを測定した。

実験結果

リサーチクエスチョン

• RQ1 mixupやcutoutのような正則化手法は、推論時の計算複雑性を低減できるのか、それともオーバーヘッドを引き起こすのか？
• RQ2 正則化とプルーニングを組み合わせることで、単独で用いる場合よりも優れた性能が得られるのか？
• RQ3 ソフトフィルタープルーニングは、精度を劣化させることなく、どの程度ResNetアーキテクチャにおけるFLOPsを削減できるのか？
• RQ4 異なるプルーニングレートは、正則化とプルーニングの相乗効果にどのように影響するのか？
• RQ5 組み合わせ手法は、FLOPsを顕著に削減しつつ、精度を維持または向上させることができるのか？

主な発見

• mixupとプルーニングの組み合わせにより、ResNet-56では最大1.31%の精度向上と14.7%のFLOPs削減が達成された。
• cutoutとプルーニングの組み合わせにより、ResNet-56では最大2.03%の精度向上と14.7%のFLOPs削減が達成された。
• ソフトフィルタープルーニングは、全ResNetサイズにおいて約15%のFLOPs削減を実現した。これはプルーニングレートが0.9であっても同様に成立した。
• 正則化とプルーニングの両方を適用したモデルは、プルーニングのみのモデルよりも高い精度を達成しており、相乗効果が裏付けられた。
• 組み合わせ手法は、正則化のみのモデルと比較してFLOPsを約15%削減し、精度は維持またはわずかに向上させた。
• 結果から、正則化とプルーニングを効果的に組み合わせることで、DNN推論における効率性と精度の両方を向上させられることを検証した。