[論文レビュー] Synthetic Petri Dish: A Novel Surrogate Model for Rapid Architecture Search

Aditya Rawal, Joel Lehman+3 more|arXiv (Cornell University)|May 27, 2020

Service-Oriented Architecture and Web Services参考文献 22被引用数 4

ひとこと要約

この論文では、合成データ上で訓練されたミニチュア化されたネットワークを用いて、アーキテクチャモチーフを評価することで、神経ネットワークアーキテクチャ探索（NAS）における評価を高速化する、新しい代替モデル「Synthetic Petri Dish」を紹介する。実モデルの学習ダイナミクスを制御可能で計算的に効率的な環境に保ったまま、ブラックボックス代替モデルよりも高い予測精度を達成し、特に限られた真値データの下でも優れた性能を発揮する。これにより、最先端の手法と比較して1/10の計算コストで高性能なアーキテクチャを探索可能となる。

ABSTRACT

Neural Architecture Search (NAS) explores a large space of architectural motifs -- a compute-intensive process that often involves ground-truth evaluation of each motif by instantiating it within a large network, and training and evaluating the network with thousands of domain-specific data samples. Inspired by how biological motifs such as cells are sometimes extracted from their natural environment and studied in an artificial Petri dish setting, this paper proposes the Synthetic Petri Dish model for evaluating architectural motifs. In the Synthetic Petri Dish, architectural motifs are instantiated in very small networks and evaluated using very few learned synthetic data samples (to effectively approximate performance in the full problem). The relative performance of motifs in the Synthetic Petri Dish can substitute for their ground-truth performance, thus accelerating the most expensive step of NAS. Unlike other neural network-based prediction models that parse the structure of the motif to estimate its performance, the Synthetic Petri Dish predicts motif performance by training the actual motif in an artificial setting, thus deriving predictions from its true intrinsic properties. Experiments in this paper demonstrate that the Synthetic Petri Dish can therefore predict the performance of new motifs with significantly higher accuracy, especially when insufficient ground truth data is available. Our hope is that this work can inspire a new research direction in studying the performance of extracted components of models in an alternative controlled setting.

研究の動機と目的

• NASにおけるアーキテクチャモチーフの評価に、フルトレーニングによる高コストな評価を軽減すること。
• 実モデルの内在的学習ダイナミクスを簡略化された評価環境に組み込むことで、代替モデルの精度を向上させること。
• 最小限の真値評価を用いて、新しいモチーフの性能を迅速かつ信頼性高く予測できること。
• 限られたデータ環境下で、合成診断環境がブラックボックス予測モデルよりも一般化性能に優れるかどうかを検証すること。

提案手法

• フルスケールのトレーニング済みネットワークからアーキテクチャモチーフを抽出し、それらを小さなコンパクトなネットワーク（モチーフネットワーク）にインスタンス化する。
• 相対的な性能順序が真値の性能順序と一致するように、学習された分布を用いて合成データを生成する。
• Synthetic Petri Dishは、各モチーフを少数の合成サンプルでトレーニングし、そのミニチュア化された環境での性能を測定することで評価を行う。
• 代替モデルは、真値評価の小さな集合（例：15ポイント）のみを用いてトレーニングされるため、NASプロセスの効率的なウェルコンディショニングが可能となる。
• GAおよびNAOといったNASアルゴリズムを、Synthetic Petri Dishとハイブリッド化し、代替モデルから得た上位性能のモチーフのみを後続のフルトレーニングに使用する。
• 本手法は、抽象的なアーキテクチャ解析に依存するのではなく、実際のトレーニングプロセスからの内在的学習ダイナミクスと事前知識を予測プロセスに組み込んでいる。

実験結果

リサーチクエスチョン

• RQ1 ミニチュア化された合成評価環境は、ブラックボックス代替モデルと比較して、神経ネットワークアーキテクチャモチーフの性能順序をよりよく保持できるか？
• RQ2 代替モデルに実際の学習ダイナミクスを組み込むことで、真値データが限られる状況でも一般化性能が向上するか？
• RQ3 Synthetic Petri Dishは、NASにおける高コストな真値評価の回数を著しく削減しつつ、最終的な性能を維持または向上させることができるか？
• RQ4 同等の計算制約下で、Synthetic Petri Dishの性能はNAOを含む最先端のNAS手法と比較してどうなるか？

主な発見

• Synthetic Petri Dishは、最良の再帰的セルを発見した際、テストパープレキシティが57.1を達成した。これは、同じ数の真値評価が与えられた場合、元のNAO手法（56.0）を上回った。
• より多くの真値評価を許可された場合、Synthetic Petri Dish-NAOの変種は、元のNAOと同等の性能を、計算コストの1/10で達成した。これは顕著な効率性の向上を示している。
• シグモイド勾配実験では、Synthetic Petri Dishは左側に急激な低下を示す性能ピークの存在を正しく推論したが、ニューラルネットワーク代替モデルはトレーニングデータの外側に一般化できなかった。
• 本手法の予測は、ブラックボックスモデルよりも正確であった。これは、実際のトレーニングプロセスからの学習ダイナミクスと事前知識を組み込んでいるためである。
• GAおよびNAOとのハイブリッドNASにより、ベースライン手法やそれ自身の変種を上回る性能を発揮した。代替モデルと最適化アルゴリズムの間には強い相乗効果が見られた。
• ブラックボックスモデルが誘導的バイアスに欠けるため、限られたデータ環境でしばしば失敗する中、本手法は低データ環境下でも優れた一般化性能を示した。