[論文レビュー] Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training

Dominic Masters, Antoine Labatie+2 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Neural Network Applications参考文献 55被引用数 8

ひとこと要約

この論文は、Graphcore IPUアクセラレータ上でEfficientNetモデルの実用的効率を向上させるために3つの技術を導入する。すなわち、depthwise畳み込みをグループ畳み込みに置き換え、バッチ独立型正規化を改善するためのプロキシ正規化活性化を導入し、半分の解像度で訓練した後、微調整を行う。これらの手法により、訓練スループットが最大7倍、推論遅延が最大1.4倍まで向上し、理論的効率と実用的効率の差を顕著に縮小する。

ABSTRACT

Much recent research has been dedicated to improving the efficiency of training and inference for image classification. This effort has commonly focused on explicitly improving theoretical efficiency, often measured as ImageNet validation accuracy per FLOP. These theoretical savings have, however, proven challenging to achieve in practice, particularly on high-performance training accelerators. In this work, we focus on improving the practical efficiency of the state-of-the-art EfficientNet models on a new class of accelerator, the Graphcore IPU. We do this by extending this family of models in the following ways: (i) generalising depthwise convolutions to group convolutions; (ii) adding proxy-normalized activations to match batch normalization performance with batch-independent statistics; (iii) reducing compute by lowering the training resolution and inexpensively fine-tuning at higher resolution. We find that these three methods improve the practical efficiency for both training and inference. Code available at https://github.com/graphcore/graphcore-research/tree/main/Making_EfficientNet_More_Efficient .

研究の動機と目的

• 高パフォーマンスアクセラレータ（IPUなど）におけるEfficientNetの理論的FLOP効率と実用的パフォーマンスの差を是正すること。
• モデルの精度を損なわずに訓練および推論の効率を向上させること。
• FLOPベースの理論的指標を超えて、ハードウェア利用効率を向上させるアルゴリズム的変更を検討すること。
• 実用的効率の向上が、アーキテクチャ的および訓練戦略の変更によって達成可能であることを示すこと。

提案手法

• 計算効率とハードウェア利用効率を向上させるために、depthwise畳み込みをグループ畳み込みに一般化する。
• バッチ正規化のパフォーマンスを再現しながらバッチ依存の統計を維持するため、プロキシ正規化活性化を導入する。
• 計算コストとデータ移動量を低減するため、訓練解像度を元の半分に削減する。
• 低解像度での訓練で失われた精度を回復させるために、高解像度で軽量な微調整ステップを適用する。
• バッチ依存の正規化と併用するためのレイヤーごとのスケーリングと重み標準化を用いて、訓練の安定化を図る。
• EfficientNet B0-B5の全モデルスケールにわたって、これらの手法の組み合わせが訓練スループット、推論遅延、精度に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 depthwise畳み込みをグループ畳み込みに置き換えることで、現代のアクセラレータ上で実用的訓練効率が向上するか？
• RQ2 プロキシ正規化活性化は、バッチ独立型正規化とバッチ正規化のパフォーマンス差をどの程度縮められるか？
• RQ3 半解像度で訓練した後、微調整を行うことで、ネイティブ解像度での訓練よりも優れた実用的効率が得られるか？
• RQ4 これらの変更が、異なるモデルスケールにおいて訓練スループットおよび推論遅延にどのように影響を与えるか？
• RQ5 理論的FLOP効率の向上が、実際にハードウェアパフォーマンス向上に効果的に反映されるか？

主な発見

• グループ畳み込み、プロキシ正規化活性化、半解像度訓練の組み合わせにより、ベースラインEfficientNetと比較して訓練スループットが最大7倍向上した。
• 最適化された設定（特にG16-LN+PN-Half）を用いることで、推論遅延が最大1.4倍まで短縮された。
• G16-EfficientNetはG1-EfficientNetと比較して顕著に高い実用的スループットを達成しており、より大きなグループサイズの利点を示した。
• 半解像度での訓練により、理論的効率では2倍のスループット向上が得られ、全解像度でテストした場合でも顕著な向上が得られた。
• LN+PN構成はGNベースのモデルよりも高い精度を達成したが、約10％のスループットコストを伴った。これは、さらなるソフトウェア最適化でこの差を埋められる可能性を示唆している。
• 最も効率の良い設定（G16-LN+PN-Half）は、推論スループットを最大3.6倍に向上させ、全テスト解像度で高い精度を維持した。