[論文レビュー] RepNAS: Searching for Efficient Re-parameterizing Blocks

Mingyang Zhang, Xinyi Yu+2 more|arXiv (Cornell University)|Sep 8, 2021

Advanced Neural Network Applications参考文献 29被引用数 4

ひとこと要約

RepNASは、1段階のNASフレームワークを提案し、任意のブランチ数を許容する柔軟な探索空間で、効率的で再パラメータ化可能な多様なブランチブロック（ODBBs）を探索する。ブロック単位の重み共有とメモリ制約下での動的プルーニングを用いた勾配ベースのアーキテクチャ探索により、推論速度が単一路モデルと同等のImageNetで最先端の精度を達成し、類似した遅延制約下で人為設計および先行NASモデルを上回る性能を発揮する。

ABSTRACT

In the past years, significant improvements in the field of neural architecture search(NAS) have been made. However, it is still challenging to search for efficient networks due to the gap between the searched constraint and real inference time exists. To search for a high-performance network with low inference time, several previous works set a computational complexity constraint for the search algorithm. However, many factors affect the speed of inference(e.g., FLOPs, MACs). The correlation between a single indicator and the latency is not strong. Currently, some re-parameterization(Rep) techniques are proposed to convert multi-branch to single-path architecture which is inference-friendly. Nevertheless, multi-branch architectures are still human-defined and inefficient. In this work, we propose a new search space that is suitable for structural re-parameterization techniques. RepNAS, a one-stage NAS approach, is present to efficiently search the optimal diverse branch block(ODBB) for each layer under the branch number constraint. Our experimental results show the searched ODBB can easily surpass the manual diverse branch block(DBB) with efficient training.

研究の動機と目的

• 構造的再パラメータ化に対応可能な探索空間を設計することで、NASの性能と実世界の推論速度のギャップを埋める。
• メモリ使用量が高く、最適でないブランチ構成を示す固定の手動設計マルチブランチブロック（例：RepVGG、ACB）の限界を克服する。
• 再トレーニングを伴わずに、最適な多様なブランチブロック（ODBBs）を自動的かつエンドツーエンドで探索可能にし、単一路統合により高速な推論を維持する。
• GPUメモリ制約下で大規模なモデルにスケーリング可能な、動的プルーニングを用いたメモリ効率の良いトレーニング戦略を開発する。

提案手法

• トレーニング中に各ブロックが任意の数のブランチを独立して保持できる新しい探索空間、Rep探索空間を提案する。推論時には、これらのブランチを1つのパスに統合できる。
• アーキテクチャパラメータをバックプロパゲーションで更新することで、個々のエッジではなく、ブランチ全体の重要性を学習する1段階の勾配ベースNAS手法RepNASを導入する。
• スーパーネットにおけるブロック単位の重み共有を適用し、再トレーニングなしに正確なアーキテクチャランク付けを可能にする。
• メモリに配慮したトレーニング戦略を実装：各フォワードパスにおいて、温度制御されたゲートによって決定された低重要度のブランチが、GPUメモリ制約を満たすまで逐次プルーニングされる。
• 温度パラメータを用いた微分可能アーキテクチャ探索（DARTSスタイル）を採用し、ブランチの重要度をソフトに割り当てることで、ネットワークパラメータとアーキテクチャパラメータを同時に更新する勾配伝搬を可能にする。
• トレーニング後、高重要度のすべてのブランチを1つのパスモデルに統合することで最終的なODBBを取得し、再トレーニングなしに直接デプロイ可能となる。

実験結果

リサーチクエスチョン

• RQ1 任意のブランチ数を許容しつつ、効率的で単一路推論が可能な再パラメータ化可能な柔軟な探索空間を設計できるか？
• RQ2 メモリ制約下で再トレーニングを伴わずに、最適な多様なブランチブロック（ODBBs）を1段階のNAS手法が効果的に探索できるか？
• RQ3 トレーニング中に低重要度のブランチを動的プルーニングすることで、性能の劣化を伴わずメモリ効率が向上するか？
• RQ4 提案手法は、人為設計ブロック（例：RepVGG、ACB）および先行NASモデルと比較して、精度と遅延のトレードオフにおいて優れているか？

主な発見

• 探索されたODBB-A0は、オブジェクト検出で31.4% COCO APを達成し、0.048秒の推論時間で、より高速な速度でResNet-18（28.1% AP）を上回る。
• ODBB-B3は37.3% COCO APを達成し、0.148秒の推論時間で、ResNet-101（34.6% AP）を2.7% AP上回りながら、同等の遅延を維持する。
• 50個のブランチのみを有するODBBが、RepVGG（66ブランチ）、DBB（88ブランチ）、ACB（66ブランチ）を上回る高いトップ-1精度を示し、優れた効率性を示す。
• 75個のブランチを有するODBBは、より大きな構成と同等の性能を達成しており、あるブランチ数を超えると利得が減少する傾向が示された。
• スーパーネットにおける重み共有により、個別な重み更新と比較して、サンプリングされたサブネットの収束が速く、性能がより安定する。
• RepNASでトレーニングされたスーパーネットは、トレーニングエポックを通じて一貫して高い精度と安定性を示すサブネットのランク付けを効果的に行うことができた。