[論文レビュー] SwiftNet: Using Graph Propagation as Meta-knowledge to Search Highly Representative Neural Architectures

Hsin-Pai Cheng, Tunhou Zhang+6 more|arXiv (Cornell University)|Jun 19, 2019

Advanced Neural Network Applications参考文献 36被引用数 8

ひとこと要約

本稿では、GRM（GRAph propagation as Meta-knowledge）を提案する。これは、探索反復間で学習済みの知識を蓄積するメタグラフを用いる、ニューラルアーキテクチャサーチの新規手法であり、膨大なアーキテクチャ空間における高効率的かつ柔軟な探索を可能にする。固定セル構造の代わりにノード単位での探索を導入し、構造レベルのプルーニングを実施することで、GRAMはMobileNet-V2よりも2.15倍高い精度密度を達成するとともに、FBNetに比べ26倍低い探索コストを実現した。また、53M MACsと2.07Mパラメータでのみ、ImageNet-1Kで63.28%のトップ1精度を達成したSwiftNetモデルを発見した。

ABSTRACT

Designing neural architectures for edge devices is subject to constraints of accuracy, inference latency, and computational cost. Traditionally, researchers manually craft deep neural networks to meet the needs of mobile devices. Neural Architecture Search (NAS) was proposed to automate the neural architecture design without requiring extensive domain expertise and significant manual efforts. Recent works utilized NAS to design mobile models by taking into account hardware constraints and achieved state-of-the-art accuracy with fewer parameters and less computational cost measured in Multiply-accumulates (MACs). To find highly compact neural architectures, existing works relies on predefined cells and directly applying width multiplier, which may potentially limit the model flexibility, reduce the useful feature map information, and cause accuracy drop. To conquer this issue, we propose GRAM(GRAph propagation as Meta-knowledge) that adopts fine-grained (node-wise) search method and accumulates the knowledge learned in updates into a meta-graph. As a result, GRAM can enable more flexible search space and achieve higher search efficiency. Without the constraints of predefined cell or blocks, we propose a new structure-level pruning method to remove redundant operations in neural architectures. SwiftNet, which is a set of models discovered by GRAM, outperforms MobileNet-V2 by 2.15x higher accuracy density and 2.42x faster with similar accuracy. Compared with FBNet, SwiftNet reduces the search cost by 26x and achieves 2.35x higher accuracy density and 1.47x speedup while preserving similar accuracy. SwiftNetcan obtain 63.28% top-1 accuracy on ImageNet-1K with only 53M MACs and 2.07M parameters. The corresponding inference latency is only 19.09 ms on Google Pixel 1.

研究の動機と目的

• 固定セル構造や幅スケーリングベースのNAS手法の限界を是正する。これらはモデルの柔軟性を低下させ、コンパクトモデルにおける特徴表現を劣化させる。
• 従来のNASの非効率性と適応性の低さを克服する。探索反復間で学習済みの知識を保持することで実現する。
• エッジデバイス向けに高精度かつ低遅延なニューラルアーキテクチャを、柔軟でリソースに配慮した探索空間を通じて実現する。
• 微調整なしに、学習済みアーキテクチャを直接新しいタスクに構造的に適応可能な手法を開発する。
• 計算コスト（MACs）とモデルサイズを最小限に抑えつつ、優れた精度密度と推論速度を達成する。

提案手法

• 操作をノード、テンソルの流れをエッジとする完全な計算DAG内でのサブDAG選択問題として、ニューラルアーキテクチャサーチを定式化する。
• 各探索反復から得られる知識を動的メタグラフに蓄積するノードベース探索戦略を導入し、知識の保持と再利用を可能にする。
• Gibbsサンプリングを用いてメタグラフを反復的に更新することで、約10^63の規模の探索空間を効率的に探索可能にする。
• メタグラフ内の低重みエッジを削除する構造レベルのプルーニングを提案し、従来の幅スケーリングに代わるリソースに配慮したモデル生成を実現する。
• 学習済みメタグラフを活用して、微調整なしに異なるタスク向けの新しいアーキテクチャを直接生成可能にし、構造的適応性を実現する。
• より複雑なタスクに適応する際のアンダーフィッティングを防ぐために、メタグラフにチャネルアップスケーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 反復的探索から蓄積された知識を持つメタグラフは、ニューラルアーキテクチャサーチにおける探索効率とモデル性能を向上させることができるか？
• RQ2 固定セル構造をノード単位の探索戦略に置き換えることで、より高いアーキテクチャの柔軟性と高い精度密度が達成可能か？
• RQ3 構造レベルのプルーニングは、精度と遅延の観点で、従来の幅スケーリングベースの圧縮法を上回る性能を示せるか？
• RQ4 事前学習済みメタグラフは、追加の微調整なしに、どの程度新しいタスクに構造的に適応可能か？
• RQ5 提案手法は、MACsとパラメータ数を最小限に抑えつつ、最先端の精度密度と推論速度を達成できるか？

主な発見

• SwiftNetは、53M MACsと2.07Mパラメータでのみ、ImageNet-1Kで63.28%のトップ1精度を達成し、コンパクトモデルの新たなベンチマークを樹立した。
• SwiftNetは、MobileNet-V2に比べ2.15倍高い精度密度を達成し、類似精度下で2.42倍速い推論遅延を実現した。
• SwiftNetの探索コストは、FBNetに比べ26倍低く、同等の精度を維持するとともに、1.47倍低い遅延を達成した。
• Google Pixel 1では、96×96の入力サイズで19.09msの推論遅延を達成し、エッジデバイスでのリアルタイム性能を示した。
• メタグラフにより、微調整なしに新しいタスクへの直接的な構造的適応が可能となり、MNISTでは99.24%、SVHNでは94.95%、Fashion MNISTでは93.56%の精度を達成した。
• マルチスレッド推論により、3つのDAGを並列に処理することで、SwiftNetで約2倍の高速化が達成され、効率的なハードウェア利用が示された。