[論文レビュー] A Semi-Supervised Assessor of Neural Architectures

Yehui Tang, Yunhe Wang+7 more|arXiv (Cornell University)|May 14, 2020

Anomaly Detection Techniques and Applications参考文献 46被引用数 11

ひとこと要約

この論文は、ニューラルアーキテクチャサーチ（NAS）におけるパフォーマンス予測の向上を目的として、ラベル付きおよびラベルなしのニューラルアーキテクチャを活用する半教師付きアセッサーを提案する。自己符号化器を用いて意味のあるアーキテクチャ表現を学習し、ラベル付きおよびラベルなしのアーキテクチャのグラフ上でグラフ畳み込みネットワーク（GCN）を適用することで、完全に訓練されたアーキテクチャへの依存を低減する。この手法により、NAS-Bench-101で1,000件のラベル付きアーキテクチャでのみ、トップ1正解率94.01％を達成した。

ABSTRACT

Neural architecture search (NAS) aims to automatically design deep neural networks of satisfactory performance. Wherein, architecture performance predictor is critical to efficiently value an intermediate neural architecture. But for the training of this predictor, a number of neural architectures and their corresponding real performance often have to be collected. In contrast with classical performance predictor optimized in a fully supervised way, this paper suggests a semi-supervised assessor of neural architectures. We employ an auto-encoder to discover meaningful representations of neural architectures. Taking each neural architecture as an individual instance in the search space, we construct a graph to capture their intrinsic similarities, where both labeled and unlabeled architectures are involved. A graph convolutional neural network is introduced to predict the performance of architectures based on the learned representations and their relation modeled by the graph. Extensive experimental results on the NAS-Benchmark-101 dataset demonstrated that our method is able to make a significant reduction on the required fully trained architectures for finding efficient architectures.

研究の動機と目的

• NASにおけるアーキテクチャパフォーマンス予測に、大規模で完全に訓練されたラベル付きデータセットへの依存を低減すること。
• 膨大な数のラベルなしニューラルアーキテクチャ間の内在的類似性を活用して、予測器の一般化性能を向上させること。
• ラベル付きおよびラベルなしデータを併用して、アーキテクチャ表現の学習とパフォーマンス予測を統合的に学習できるエンドツーエンドで訓練可能なフレームワークを開発すること。
• 高性能なアーキテクチャを同定するために必要な、高コストな完全なトレーニングランの数を最小限に抑えること。

提案手法

• アーキテクチャ探索空間全体に対して自己符号化器を訓練し、ニューラルアーキテクチャのコン pact で意味のある表現を学習する。
• ノードがアーキテクチャを表し、エッジが自己符号化器の埋め込みに基づいて学習された類似性を符号化するグラフを構築し、ラベル付きおよびラベルなしのアーキテクチャを統合する。
• グラフ畳み込みネットワーク（GCN）を用いて、グラフ内の隣接アーキテクチャからの表現および関係情報の集約によりパフォーマンスを予測する。
• ラベル付きアーキテクチャにおける回帰損失と自己符号化器における再構成損失を組み合わせた損失関数を用いて、システム全体をエンドツーエンドで訓練する。
• スケール係数σはグラフ構築における類似性測定の感受性を制御し、λは再構成損失と回帰損失のバランスを調整する。

実験結果

リサーチクエスチョン

• RQ1 NAS探索空間内のラベルなしアーキテクチャは、最小限のラベルデータでパフォーマンス予測の向上に有効に活用できるか？
• RQ2 アーキテクチャの類似性をグラフ構造で組み込むことで、完全に教師ありベースラインと比較して予測器の精度がどのように向上するか？
• RQ3 自己符号化器による表現学習が、パフォーマンス予測のためのアーキテクチャ埋め込みの質をどの程度向上させるか？
• RQ4 予測精度と計算効率の観点から、ラベル付きデータとラベルなしデータの最適なトレードオフは何か？

主な発見

• 提案手法は、NAS-Bench-101で1,000件のラベル付きアーキテクチャでのみ、トップ1正解率94.01％を達成し、探索空間の上位0.01％に位置づけられる。
• 10,000件のラベル付きアーキテクチャを用いた場合、ケンダールタウ相関が0.7814に達し、完全に教師ありベースライン（0.7188）を顕著に上回った。
• 再構成損失（λ > 0）の導入により予測精度が向上し、ラベルなしデータが表現学習を強化することが実証された。
• ラベルなしアーキテクチャの数を増やす（最大50,000まで）ことで予測性能が向上したが、それ以上になると効果の逓減が見られた。
• 1,000件のラベル付きアーキテクチャでのみ使用した場合、自己符号化器の導入により予測精度が23.4％向上（ケンダールタウ：0.5302 → 0.6541）し、表現学習の有効性が示された。
• 標準的なNASと比較して、完全なトレーニングランの必要数を90％以上削減し、計算コストを顕著に低減した。