[論文レビュー] CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment

Manas Sahni, Shreya Varshini+2 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Neural Network Applications被引用数 11

ひとこと要約

CompOFAは、深さ・幅・解像度の複合的結合を活用することで、Once-For-All (OFA) ネットワークの探索空間を10^19からたったの243にまで大幅に削減する。これにより、2倍の高速化訓練、216倍の高速化モデル探索、CO2排出量の削減が実現されたが、多様なハードウェアや遅延要件においてもパレート最適な精度を損なわない。

ABSTRACT

The emergence of CNNs in mainstream deployment has necessitated methods to design and train efficient architectures tailored to maximize the accuracy under diverse hardware & latency constraints. To scale these resource-intensive tasks with an increasing number of deployment targets, Once-For-All (OFA) proposed an approach to jointly train several models at once with a constant training cost. However, this cost remains as high as 40-50 GPU days and also suffers from a combinatorial explosion of sub-optimal model configurations. We seek to reduce this search space -- and hence the training budget -- by constraining search to models close to the accuracy-latency Pareto frontier. We incorporate insights of compound relationships between model dimensions to build CompOFA, a design space smaller by several orders of magnitude. Through experiments on ImageNet, we demonstrate that even with simple heuristics we can achieve a 2x reduction in training time and 216x speedup in model search/extraction time compared to the state of the art, without loss of Pareto optimality! We also show that this smaller design space is dense enough to support equally accurate models for a similar diversity of hardware and latency targets, while also reducing the complexity of the training and subsequent extraction algorithms.

研究の動機と目的

• 巨大で非最適なモデル構成による、Once-For-All (OFA) ネットワークにおける訓練コストの高騰と組み合わせ的爆発の問題に対処する。
• 多様なデプロイメントプラットフォームにおける精度-遅延トレードオフのパレート最適性を損なわず、アーキテクチャ探索空間を縮小する。
• モデル構成を精度-遅延フロンティアに近いものに制約することで、重み共有の際の干渉を最小限に抑える。
• 設計空間の単純化と遅延推定器への依存の排除により、より高速で効率的なモデル抽出とデプロイメントを可能にする。
• MobileNetV3とは異なるベースアーキテクチャ、例えばProxylessNASに対しても、複合的結合ヒューリスティックの一般化を示す。

提案手法

• 深さ、幅、解像度の複合的スケーリング原則を適用し、探索空間をOFAの10^19からたったの243の構成に制限する。
• 実験的観察に基づき、精度-遅延トレードオフの改善が見られるように、深さ・幅・解像度の複数の次元を一括してモデル容量を拡大するヒューリスティックを採用する。
• 共有重みを用いたワンショット、ワンショットの方法でCompOFAスーパーネットを訓練するが、モデル構成の数が著しく減少しているため、干渉が低減される。
• 干渉の低減のため、設計空間を小さく・一貫性を持たせることで、段階的縮小の必要性を排除する。
• 進化的探索中にメモ化を実装し、測定済みの遅延をキャッシュすることで、プロキシ推定器に依存せず、直接的・リアルタイムな遅延評価を可能にする。
• MobileNetV3およびProxylessNASアーキテクチャの両方で手法を検証し、一般化性と一貫性のある向上を示す。

実験結果

リサーチクエスチョン

• RQ1 モデルの次元間における複合的結合によって制限された著しく縮小された探索空間は、精度と遅延におけるパレート最適性を維持できるか？
• RQ2 10^19のモデル構成から243に減少させることで、訓練干渉が著しく低減され、訓練時間の半分で収束できるか？
• RQ3 より小さな設計空間は、モデル多様性や精度を損なわず、モデル探索および抽出の速度をどの程度向上させるか？
• RQ4 複合的結合ヒューリスティックは、MobileNetV3を超えた他のベースアーキテクチャに対しても一般化可能か？
• RQ5 プロキシ推定器の排除と直接測定への移行は、実用性の向上と開発オーバーヘッドの低減に寄与するか？

主な発見

• CompOFAは、OFAの10^19のモデル構成をわずか243にまで削減し、探索空間サイズを17桁のオーダーで縮小した。
• 干渉の低減と段階的縮小の排除により、訓練時間が2倍速くなった。
• 探索と抽出が216倍高速化された。これは、より小さな設計空間により、プロキシ推定器に頼らずに直接遅延測定が可能になったためである。
• より小さな探索空間にもかかわらず、CDF比較により示されるように、同じモデル構成においてOFAと同等またはわずかに優れた精度を維持・超過した。
• 手法は他のアーキテクチャにも一般化可能である。ProxylessNASに適用した場合、訓練予算を半分に抑えながらも、同じまたはより高い精度を達成した。
• 訓練時間の2倍速化に伴い、CO2排出量とコストが比例して削減され、より持続可能でスケーラブルな手法となった。