[論文レビュー] Rethinking Differentiable Search for Mixed-Precision Neural Networks

Zhaowei Cai, Nuno Vasconcelos|arXiv (Cornell University)|Apr 13, 2020

Advanced Neural Network Applications参考文献 39被引用数 11

ひとこと要約

本稿では、Inception-V3 などの大規模モデルに対して ImageNet 上で直接的・プロキシフリーな探索を可能にする、混合精度ニューラルネットワーク向けの効率的な微分可能探索フレームワーク EdMIPS を提案する。制約付きラグランジュ最適化、1回パス訓練戦略、および効率的な合成畳み込みを活用することで、探索空間のサイズにかかわらず一定の訓練複雑度を維持しつつ、均一な低精度ベースラインを上回る優れた精度を達成する。

ABSTRACT

Low-precision networks, with weights and activations quantized to low bit-width, are widely used to accelerate inference on edge devices. However, current solutions are uniform, using identical bit-width for all filters. This fails to account for the different sensitivities of different filters and is suboptimal. Mixed-precision networks address this problem, by tuning the bit-width to individual filter requirements. In this work, the problem of optimal mixed-precision network search (MPS) is considered. To circumvent its difficulties of discrete search space and combinatorial optimization, a new differentiable search architecture is proposed, with several novel contributions to advance the efficiency by leveraging the unique properties of the MPS problem. The resulting Efficient differentiable MIxed-Precision network Search (EdMIPS) method is effective at finding the optimal bit allocation for multiple popular networks, and can search a large model, e.g. Inception-V3, directly on ImageNet without proxy task in a reasonable amount of time. The learned mixed-precision networks significantly outperform their uniform counterparts.

研究の動機と目的

• すべてのフィルタに同一のビット幅を適用する均一な低精度ネットワークの性能が最適でないという問題に対処すること。
• 分布やレイヤーの重要性の違いにより、CIFAR-10 などのプロキシタスクが効果を発揮しないことから、それらを回避する混合精度ネットワーク探索（MPS）の微分可能手法を開発すること。
• 常に最高ビット幅を選択する自明な解を避けるために、ラグランジュ緩和を用いて複雑度予算を導入すること。
• 並列畳み込みを効率的な合成畳み込みに置き換えることで、候補ビット幅の数に関係なく訓練コストを一定に保つこと。
• Inception-V3 や ResNet-50 といった大規模モデルを、制限時間およびメモリ制約内で ImageNet に対して直接探索可能にすること。

提案手法

• DARTS をインspired した微分可能アーキテクチャ探索モジュールを提案し、層ごとのビット幅割り当てをエンドツーエンド最適化可能にする。
• 精度と複雑度のバランスを取るためにラグランジュ定式化を導入し、常に最高ビット幅を選択する自明な解を防ぐ。
• アーキテクチャとネットワーク重みの両方を同時に最適化するための1回の順伝播・逆伝播パスを採用し、高コストな2階層最適化を回避する。
• 探索空間のサイズに依存しない一定の訓練複雑度を確保するため、共有重みテンソルの重み付き和を用いた合成畳み込みに並列畳み込みを置き換える。
• カテゴリカルサンプリングに比べて精度のばらつきを低減するため、アーキテクチャ探索に多項分布サンプリングを採用する。
• 1回パス最適化戦略を採用し、2倍の訓練コストで代替最適化と同等の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10 のようなプロキシタスクを必要とせず、混合精度ネットワーク向けの微分可能探索フレームワークを設計できるか？
• RQ2 混合精度探索中に、常に最高ビット幅を選択する自明な解をどのように回避できるか？
• RQ3 候補ビット幅の数に関係なく、混合精度探索の訓練コストを一定に保てるか？
• RQ4 アーキテクチャサンプリング戦略（カテゴリカル vs. 多項分布）が探索の安定性および性能に与える影響は何か？
• RQ5 提案手法は、Inception-V3 や ResNet-50 といった大規模モデルに対して、ImageNet で直接訓練可能な範囲までスケーリング可能か？

主な発見

• EdMIPS は複数のネットワークで最先端の性能を達成し、GoogLeNet に適用した2ビット EdMIPS モデルは、フル精度ベースラインをトップ-1精度で3.0%上回る。
• AlexNet に適用した2ビット EdMIPS モデルは、フル精度モデルと同等の精度を達成し、高い効率性と有効性を示す。
• ResNet-18 では、EdMIPS が65.9%のトップ-1精度を達成し、2ビット均一ベースラインと同等のビットオペレーション数（BitOps）を維持しながら、均一 LQ-Net の64.9%を上回る。
• Inception-V3 の ImageNet での探索は8 GPU日で完了し、2ビット均一 ResNet-18 よりもわずかに45%程度の訓練コスト増にとどまる。
• 効率的な合成畳み込みにより、モデルサイズは約4倍に削減され、計算量とメモリ使用量はそれぞれ30-50%、20-40%削減される。
• 1回パス最適化戦略は、代替最適化と同等の性能を達成するが、訓練複雑度は半分に削減される。