[論文レビュー] A Generic Graph-based Neural Architecture Encoding Scheme for Predictor-based NAS

Xuefei Ning, Yin Zheng+3 more|arXiv (Cornell University)|Apr 4, 2020

Advanced Graph Neural Networks参考文献 32被引用数 26

ひとこと要約

この論文では、GATESと呼ばれるグラフベースのニューラルアーキテクチャエンコーディング方式を提案する。この方式は、実際のデータフローを模倣するように、演算を伝搬する情報の変換としてモデル化する。真の計算的挙動を捉え、同型なアーキテクチャを自然に処理できることで、予測子の一般化能力が向上し、予測子ベースのNASにおけるサンプル効率がランダムサーチに比べ551倍、遺伝的アルゴリズムに比べ59倍向上する。

ABSTRACT

This work proposes a novel Graph-based neural ArchiTecture Encoding Scheme, a.k.a. GATES, to improve the predictor-based neural architecture search. Specifically, different from existing graph-based schemes, GATES models the operations as the transformation of the propagating information, which mimics the actual data processing of neural architecture. GATES is a more reasonable modeling of the neural architectures, and can encode architectures from both the "operation on node" and "operation on edge" cell search spaces consistently. Experimental results on various search spaces confirm GATES's effectiveness in improving the performance predictor. Furthermore, equipped with the improved performance predictor, the sample efficiency of the predictor-based neural architecture search (NAS) flow is boosted. Codes are available at https://github.com/walkerning/aw_nas.

研究の動機と目的

• 既存のニューラルアーキテクチャエンコーディング方式がニューラルアーキテクチャを正確に表現する点での限界を解消すること。
• 予測子ベースのニューラルアーキテクチャ探索（NAS）における性能予測子の一般化能力を向上させること。
• 「ノード上の演算」（OON）および「エッジ上の演算」（OOE）の両方の探索空間において、一貫的かつ効果的なアーキテクチャのエンコーディングを可能にすること。
• より代表的で意味的に明確なアーキテクチャエンコーダーを活用することで、NASにおけるサンプル効率を向上させること。
• 同型なアーキテクチャを同一の表現に自然にマッピングする統一的で計算を模倣するエンコーディング方式を提供すること。

提案手法

• GATESは、入力特徴量がエッジに沿って伝搬され、演算がこれらの特徴量の変換として扱われる有向無閉路グラフ（DAG）としてニューラルアーキテクチャをモデル化する。
• 各演算（例：Conv3x3、MaxPool）は、入力特徴テンソルに適用される学習可能な変換としてモデル化され、ノード属性として扱われるのではなく、エッジに関連づけられる。
• 最終的な出力表現は、出力ノードに集約された特徴量から導出され、全セルアーキテクチャのための一貫性のある埋め込み表現を形成する。
• エンコーディングプロセスは、同型性を内蔵的に保持しており、構造的に同等のアーキテクチャが同一の表現を受け取ることを保証する。
• 性能予測子は、GATESでエンコードされたアーキテクチャを用いて訓練され、正確な相対的性能順位付けを最適化するためにヒンジランク損失が使用される。
• 内側の探索戦略としてランダムサーチおよび遺伝的アルゴリズムを用いて、OONおよびOOEの両方の探索空間でこの手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 演算を情報の変換としてモデル化するグラフベースのエンコーディング方式は、NASにおける性能予測子の一般化を向上させることができるか？
• RQ2 GATESは、シーケンスベースおよび従来のグラフベースエンコーダーと比較して、予測子の性能とサンプル効率の点でどのように異なるか？
• RQ3 GATESは、同型なアーキテクチャを常に同一の表現にエンコードするか。これにより、ロバストネスと一般化能力が向上するか？
• RQ4 GATESを予測子ベースのNASに適用することで、ベースラインの探索戦略と比較して、どの程度サンプル効率が向上するか？
• RQ5 GATESは、ENASの探索空間など大規模または複雑な探索空間においても、少ない評価アーキテクチャ数で効果的なNASを可能にするか？

主な発見

• GATESを搭載した予測子ベースのNASは、最良のアーキテクチャに到達するまでに平均で400件のアーキテクチャ評価で完了したが、遺伝的アルゴリズムでは237,000件、ランダムサーチでは220,400件を要した。
• 同じ評価プロトコル下で、GATESを搭載したNASのサンプル効率はランダムサーチに比べ551.0倍、遺伝的アルゴリズムに比べ59.25倍向上した。
• CIFAR-10データセットでは、GATESを用いたNASで発見されたアーキテクチャが2.58%のテスト誤差を達成し、他の手法と比較してはるかに少ない評価回数（800回 vs. 1,000～27,000回）で優れた性能を示した。
• ImageNetに移植した場合、GATESで発見されたアーキテクチャはたった560万パラメータでトップ-1誤差24.1%を達成し、優れた一般化性能と競争力を示した。
• アブレーションスタディの結果、サンプル比 $ r $ は慎重にチューニングする必要があることが確認され、小さすぎるか大きすぎる値は、探索不足または過剰な活用による性能低下を引き起こした。
• GATESはOONおよびOOEの両方の探索空間で一貫した改善を示し、一般化可能性とロバストネスを確認した。