[論文レビュー] Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?

Yan Shen, Yu Zheng+3 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 70被引用数 34

ひとこと要約

arch2vec は、監督なしの変分グラフオートエンコーダを用いてアーキテクチャ表現を事前学習し、表現学習と探索をデカップリングします。これにより潜在空間が滑らかになり、複数の探索空間と戦略で NAS の効率を改善します。

ABSTRACT

Existing Neural Architecture Search (NAS) methods either encode neural architectures using discrete encodings that do not scale well, or adopt supervised learning-based methods to jointly learn architecture representations and optimize architecture search on such representations which incurs search bias. Despite the widespread use, architecture representations learned in NAS are still poorly understood. We observe that the structural properties of neural architectures are hard to preserve in the latent space if architecture representation learning and search are coupled, resulting in less effective search performance. In this work, we find empirically that pre-training architecture representations using only neural architectures without their accuracies as labels considerably improve the downstream architecture search efficiency. To explain these observations, we visualize how unsupervised architecture representation learning better encourages neural architectures with similar connections and operators to cluster together. This helps to map neural architectures with similar performance to the same regions in the latent space and makes the transition of architectures in the latent space relatively smooth, which considerably benefits diverse downstream search strategies.

研究の動機と目的

• 監督信号からのバイアスを避けるために NAS のための無監督なアーキテクチャ表現学習を動機づける。
• アーキテクチャ表現学習のデカップル化アプローチ（arch2vec）を開発する。
• 無監督事前学習が多様な空間と戦略における下流の NAS 効率と頑健性を改善するかを評価する。

提案手法

• arch2vec は、構造情報のみを用いてアーキテクチャをエンコードする変分グラフ同型オートエンコーダである（ accuracies は使用しない）。
• ノード埋め込みを得るために Graph Isomorphism Networks (GINs) を用い、隣接行列と操作行列を再構成する変分デコーダを用いる。
• 再構成損失とガウス事前分布への KL 散逸を含む変分下界で訓練する。
• 前処理済み埋め込みを用いた強化学習（REINFORCE）とベイズ最適化（DNGO）で下流の NAS パフォーマンスを評価する。
• NAS-Bench-101、NAS-Bench-201、および DARTS で離散的隣接行列表現および監督付きアーキテクチャ表現学習と比較する。
• 前処理のパフォーマンス指標（再構成、妥当性、uniqueness）と NAS のパフォーマンス（テスト後悔、精度）を空間横断で提供する。

実験結果

リサーチクエスチョン

• RQ1 無監督のアーキテクチャ表現の事前学習は、共同学習された監督付き表現より滑らかな潜在空間を生み出すか。
• RQ2 arch2vec 埋め込みは、複数の探索空間で RL および BO 戦略と組み合わせたとき、NAS の効率と頑健性を改善するか。
• RQ3 無監督埋め込みは局所的な構造関係をどれだけ良く保持し、アーキテクチャの性能を予測できるか。
• RQ4 表現を探索と同時に学習する際、監督信号によってアーキテクチャ探索が偏ってしまうか。

主な発見

モデル	NAS-Bench-101 再構成	NAS-Bench-101 妥当性	NAS-Bench-101 一意性	NAS-Bench-201 再構成	NAS-Bench-201 妥当性	NAS-Bench-201 一意性	DARTS 再構成	DARTS 妥当性	DARTS 一意性
GAE	98.75	29.88	99.25	99.52	79.28	78.42	97.80	15.25	99.65
VGAE	97.45	41.18	99.34	98.32	79.30	88.42	96.80	25.25	99.27
arch2vec (w.o. KL)	100	30.31	99.20	100	77.09	96.57	99.46	16.01	99.51
arch2vec	100	44.97	99.69	100	79.41	98.72	99.79	33.36	100

• arch2vec は NAS-Bench-101、NAS-Bench-201、DARTS の再構成、妥当性、一意性の各評価で GAE および VGAE を上回る。
• arch2vec 埋め込みは、監督付き表現よりもアーキテクチャの性能を予測する精度が高く、RMSE が小さく、Pearson r が高い。
• arch2vec では潜在空間の距離がアーキテクチャの編集距離と単調に相関し、構造的近さが保持されていることを示す。
• t-SNE の可視化では、arch2vec の埋め込みが潜在空間をカバーし、類似の精度がクラスタリングされる一方、監督付きの対照はより不連続である。
• 下流の NAS（arch2vec による RL および BO） は、ベースラインと比べて最終パフォーマンスと頑健性が競合的または上回り、arch2vec-BO および arch2vec-RL がデータセット全体で最良の結果をもたらすことが多い。