[論文レビュー] Self-supervised Representation Learning for Evolutionary Neural Architecture Search

Chen Wei, Yiping Tang+4 more|arXiv (Cornell University)|Oct 31, 2020

Advanced Neural Network Applications参考文献 48被引用数 6

ひとこと要約

本論文は、限られたラベル付きデータでニューラル予測子の性能を向上させるために、自己教師あり表現学習フレームワークをニューラルアーキテクチャサーチ（NAS）に提案する。位置に敏感なパスベース符号化を導入し、ニューラルアーキテクチャをよりよく表現するとともに、2つの新しい自己教師あり事前学習手法（グラフ編集距離予測と中央対照的学習）を設計することで、教師ありベースラインが要する学習データのわずかな一部でさえも、NASBench-101およびNASBench-201で最先端の精度を達成した。

ABSTRACT

Recently proposed neural architecture search (NAS) algorithms adopt neural predictors to accelerate the architecture search. The capability of neural predictors to accurately predict the performance metrics of neural architecture is critical to NAS, and the acquisition of training datasets for neural predictors is time-consuming. How to obtain a neural predictor with high prediction accuracy using a small amount of training data is a central problem to neural predictor-based NAS. Here, we firstly design a new architecture encoding scheme that overcomes the drawbacks of existing vector-based architecture encoding schemes to calculate the graph edit distance of neural architectures. To enhance the predictive performance of neural predictors, we devise two self-supervised learning methods from different perspectives to pre-train the architecture embedding part of neural predictors to generate a meaningful representation of neural architectures. The first one is to train a carefully designed two branch graph neural network model to predict the graph edit distance of two input neural architectures. The second method is inspired by the prevalently contrastive learning, and we present a new contrastive learning algorithm that utilizes a central feature vector as a proxy to contrast positive pairs against negative pairs. Experimental results illustrate that the pre-trained neural predictors can achieve comparable or superior performance compared with their supervised counterparts with several times less training samples. We achieve state-of-the-art performance on the NASBench-101 and NASBench201 benchmarks when integrating the pre-trained neural predictors with an evolutionary NAS algorithm.

研究の動機と目的

• ニューラルアーキテクチャサーチ（NAS）におけるニューラル予測子を学習する際のラベル付きデータの不足という課題に対処すること。
• 教師あり手法に比べてはるかに少ない学習サンプルでニューラル予測子の予測精度を向上させること。
• 構造的および位置的差を捉えることができる、より効果的なアーキテクチャ符号化方式を開発すること。
• ニューラルアーキテクチャ埋め込みのための意味のある表現を生成する自己教師あり事前学習技術を調査すること。
• 事前学習済みの予測子を進化的NASフレームワークに統合し、標準ベンチマーク上で性能を評価すること。

提案手法

• 標準的なパスベース符号化の限界を克服するため、演算子の位置を捉え、同型グラフを区別できる位置に敏感なパスベース符号化方式を提案する。
• 2本のブランチを持つグラフニューラルネットワークを設計し、2つのニューラルアーキテクチャ間のグラフ編集距離（GED）を予測する自己教師ありプロキシタスクとして活用する。
• 共通の中央特徴ベクトルを用いて、類似したアーキテクチャ（ポジティブペア）を、類似しないアーキテクチャ（ネガティブペア）と対照的にする中央対照的学習法を導入する。
• 小規模なラベル付きデータセットでの微調整の前に、これらの自己教師あり目的関数を用いてアーキテクチャ埋め込みモジュールを事前学習する。
• 事前学習済みのニューラル予測子を進化的NASアルゴリズムに統合し、効率的に高性能なアーキテクチャを探索する。
• 性能評価のために、CIFAR-10、CIFAR-100、ImageNet-16-120の各データセットで評価するため、NASBench-101およびNASBench-201をベンチマークデータセットとして用いる。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータで、自己教師あり事前学習戦略がNASにおけるニューラル予測子の性能を顕著に向上させられるか？
• RQ2 位置に敏感なアーキテクチャ符号化方式は、標準的なパスベース符号化に比べてより優れた表現学習を実現するか？
• RQ3 グラフ編集距離予測と対照的学習という異なる自己教師ありプロキシタスクは、最終的な予測子の精度にどのように影響するか？
• RQ4 進化的NASフレームワークに統合された事前学習済みのニューラル予測子は、最先端の性能を達成できるか？
• RQ5 特にラベル付きデータが不足している状況下で、事前学習がサンプル効率に与える影響は何か？

主な発見

• 提案された位置に敏感なパスベース符号化は、標準的なパスベース符号化とは異なり、同型で位置の異なるニューラルアーキテクチャを明確に区別できた。
• 自己教師ありで事前学習されたニューラル予測子は、教師あり手法と同等またはそれ以上の性能を、わずかに少ないサンプル数で達成した。
• NASBench-101では、固定の探索予算でCIFAR-10で8.92%のテスト誤差を達成し、8.91%のORACLEベースラインと同等の性能を示した。
• NASBench-201では、CIFAR-10で8.94%、CIFAR-100で26.51%、ImageNet-16-120で53.78%のテスト誤差を達成し、150回の評価で最先端の性能を実現した。
• 2つの自己教師あり手法（GED予測と中央対照的学習）は、表現学習における異なるインダクティブバイアスを示しており、異なる挙動を示した。
• 進化的NASに統合された事前学習済みのニューラル予測子は、一般化性能に優れ、高いサンプル効率と優れた性能を示した。