[論文レビュー] NASGEM: Neural Architecture Search via Graph Embedding Method

Hsin-Pai Cheng, Tunhou Zhang+8 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Neural Network Applications参考文献 49被引用数 10

ひとこと要約

NASGEMは、グラフ埋め込みとWeisfeiler-Lehmanカーネルを統合することで、潜在空間におけるトポロジー類似性を保持する推定器ベースのニューラルアーキテクチャ探索手法を提案する。これにより、より正確な性能予測と効率的な探索が可能になる。NASGEMが発見したGEMNetは、画像分類およびオブジェクト検出タスクにおいて、先行手法と比較して0.4%〜3.6%高い精度を達成するとともに、乗算累積演算（Multiply-Accumulates）を11%〜21%削減する。

ABSTRACT

Neural Architecture Search (NAS) automates and prospers the design of neural networks. Estimator-based NAS has been proposed recently to model the relationship between architectures and their performance to enable scalable and flexible search. However, existing estimator-based methods encode the architecture into a latent space without considering graph similarity. Ignoring graph similarity in node-based search space may induce a large inconsistency between similar graphs and their distance in the continuous encoding space, leading to inaccurate encoding representation and/or reduced representation capacity that can yield sub-optimal search results. To preserve graph correlation information in encoding, we propose NASGEM which stands for Neural Architecture Search via Graph Embedding Method. NASGEM is driven by a novel graph embedding method equipped with similarity measures to capture the graph topology information. By precisely estimating the graph distance and using an auxiliary Weisfeiler-Lehman kernel to guide the encoding, NASGEM can utilize additional structural information to get more accurate graph representation to improve the search efficiency. GEMNet, a set of networks discovered by NASGEM, consistently outperforms networks crafted by existing search methods in classification tasks, i.e., with 0.4%-3.6% higher accuracy while having 11%- 21% fewer Multiply-Accumulates. We further transfer GEMNet for COCO object detection. In both one-stage and twostage detectors, our GEMNet surpasses its manually-crafted and automatically-searched counterparts.

研究の動機と目的

• 既存の推定器ベースのNAS手法がアーキテクチャ符号化中にグラフトポロジーを保持できないという制限を解消し、不正確な潜在空間表現を回避すること。
• Weisfeiler-Lehmanカーネルによって誘導されるグラフ埋め込み手法を用いて、構造的類似性情報を潜在空間に統合することで、探索の効率性と正確性を向上させること。
• トポロジカルな誘導バイアスを活用することで、限られた学習データでも高い性能を維持できる堅牢で汎用性の高いアーキテクチャ探索フレームワークを構築すること。
• グラフ埋め込みと効率スコア予測器、およびブートストラップ最適化を組み合わせることで、スケーラブルかつ柔軟な探索を可能にし、潜在空間内での実現可能な探索を促進すること。

提案手法

• Weisfeiler-Lehman（WL）カーネルを用いてグラフ類似性を測定し、ニューラルアーキテクチャグラフを連続的な潜在空間に符号化するカーネル誘導グラフオートエンコーダを提案する。
• 元のグラフのWLカーネルとその埋め込みベクトル間のコサイン類似度の差を最小化することで、トポロジカル構造を保持するグラフ埋め込みモデルを構築する。
• グラフ類似性に基づく対照的損失を用いてグラフエンコーダを訓練し、構造的に類似したアーキテクチャが潜在空間内で近接してマップされるように保証する。
• 事前学習済みのグラフ埋め込みを、教師ありの効率スコア予測器と統合し、アーキテクチャ埋め込みからモデルの精度を推定する。
• 候補アーキテクチャが潜在空間内で実現可能かつ構造的に意味のあるものであることを保証するため、ブートストラップ最適化を適用して探索プロセスを最適化する。
• 得られた埋め込みと予測器を用いて、広範かつ制限のない探索空間で、高い効率性と正確性を備えた最適なニューラルアーキテクチャセルを探索する。

実験結果

リサーチクエスチョン

• RQ1 Weisfeiler-Lehmanカーネルを介してグラフトポロジー情報を統合することで、推定器ベースNASにおける潜在空間の表現能力が向上するか？
• RQ2 トポロジカル類似性制約を課したグラフ埋め込みは、ニューラルアーキテクチャ探索における性能予測の正確性と安定性にどのように影響するか？
• RQ3 提案手法は、既存のNASアプローチと比較して、探索コストをどれほど低減しつつ、モデル精度を維持または向上できるか？
• RQ4 学習済みのグラフ埋め込みは、異なるデータ分割や小さな学習データセットに対しても効果的に一般化可能であり、低データ環境におけるロバストネスを向上させるか？
• RQ5 NASBench-101やCOCOオブジェクト検出といった標準ベンチマークにおいて、NASGEMのアーキテクチャ探索性能は最先端手法と比較してどの程度優れているか？

主な発見

• グラフカーネル埋め込みを用いることで、NASBench-101におけるグローバル精度が0.2%向上し、限られたデータでも良好な一般化性能を示す。
• NASGEMのグラフ埋め込みを用いて学習した効率スコア予測器は、学習データの50%のみを用いても、真値精度とのピアソン相関係数が0.85に達し、ベースライン手法を上回る。
• NASGEMが発見したアーキテクチャGEMNetは、CIFAR-10およびImageNetにおいて、最先端のモデルと比較して0.4%〜3.6%高いトップ-1精度を達成するとともに、パラメータ数を13%〜62%、Multiply-Accumulatesを11%〜21%削減する。
• COCOオブジェクト検出において、GEMNetはワンステージおよびツーステージ両方の検出器で、手動設計および自動探索されたモデルを上回り、優れた転送性を示す。
• アブレーションスタディの結果、NASGEMの埋め込み手法は、すべてのデータ比において隣接行列フラットニングやMLPベースのオートエンコーダーを一貫して上回り、 Kendall’s tauが0.03〜0.09、ピアソン相関係数が0.15〜0.20向上する。
• 本手法は、異なる埋め込み次元数やグラフサイズに対してもロバストであり、さまざまな設定で安定した収束と低い類似度損失を示しており、強力なスケーラビリティと一般化性能を有している。