[論文レビュー] Deep Neural Architecture Search with Deep Graph Bayesian Optimization

Lizheng Ma, Jiaxu Cui+1 more|arXiv (Cornell University)|May 14, 2019

Machine Learning and Data Classification参考文献 17被引用数 5

ひとこと要約

本稿では、ニューラルアーキテクチャ探索（NAS）のための自動的アーキテクチャ特徴抽出を可能にする、ベイジアングラフニューラルネットワーク（GNN）をサーヴィレートモデルとして用いるグラフベイジアン最適化フレームワークNASGBOを提案する。ニューラルネットワークを属性付きグラフとしてモデル化し、GNNを用いて構造的および特徴ベースの表現を捉えることで、従来のBOおよび進化的手法に比べて収束が早く、計算コストを低減しつつ優れた性能を達成する。

ABSTRACT

Bayesian optimization (BO) is an effective method of finding the global optima of black-box functions. Recently BO has been applied to neural architecture search and shows better performance than pure evolutionary strategies. All these methods adopt Gaussian processes (GPs) as surrogate function, with the handcraft similarity metrics as input. In this work, we propose a Bayesian graph neural network as a new surrogate, which can automatically extract features from deep neural architectures, and use such learned features to fit and characterize black-box objectives and their uncertainty. Based on the new surrogate, we then develop a graph Bayesian optimization framework to address the challenging task of deep neural architecture search. Experiment results show our method significantly outperforms the comparative methods on benchmark tasks.

研究の動機と目的

• ガウス過程ベースのベイジアン最適化における限界、特に手作業で設計された類似度メトリクスへの依存とスケーラビリティの低さを解消すること。
• 人為的に設計された特徴を必要とせず、ニューラルアーキテクチャ構造から意味のある表現を自動的に学習できるサーヴィレートモデルを開発すること。
• 立方時間のGPsを線形時間のベイジアンGNNに置き換えることで、NASにおけるベイジアン最適化の計算コストを低減すること。
• グラフ表現学習と不確実性を考慮した予測を活用して、より大きな探索空間の効率的探索を可能にすること。
• 学習可能でスケーラブルなサーヴィレートモデルと統合することで、NASの探索効率と正確性を向上させること。

提案手法

• ノードを層、エッジを接続とし、層の種別とハイパーパramータを特徴として持つ属性付きグラフとしてニューラルアーキテクチャをモデル化する。
• グラフニューラルネットワーク（GNN）を用いて、構造的および意味的関係を捉えるノードおよびエッジの埋め込みを学習する。
• ノードおよびエッジの埋め込みをアグリゲートするプーリング層を適用し、アーキテクチャ全体のグローバルなグラフ表現を生成する。
• グローバル表現をマルチレイヤーパーセプトロン（MLP）に供給し、アーキテクチャの性能（例：精度または損失）を予測する。
• MLPの上流にベイジアン線形回帰（BLR）層を適用し、予測不確実性を推定することで、ベイジアン最適化におけるアクティブな取得を可能にする。
• ベイジアンGNNをサーヴィレートとして用いるグラフベイジアン最適化フレームワークを定式化し、不確実性を考慮した取得関数に基づいて反復的に有望なアーキテクチャを選択する。

実験結果

リサーチクエスチョン

• RQ1 学習可能でデータ駆動型のサーヴィレートモデルは、ニューラルアーキテクチャ探索におけるベイジアン最適化で、手作業で設計された類似度メトリクスを上回ることができるか？
• RQ2 グラフニューラルネットワークは、深層ニューラルネットワークの性能予測のための意味のあるアーキテクチャ特徴を効果的に抽出できるか？
• RQ3 ガウス過程をベイジアンGNNに置き換えることで、NASにおけるベイジアン最適化のスケーラビリティと効率性が顕著に向上するか？
• RQ4 提案フレームワークは、最新の手法に比べてより少ない評価回数で優れたニューラルアーキテクチャを発見できるか？
• RQ5 学習されたアーキテクチャ埋め込みの使用は、NASの収束速度と最終的な性能にどのように影響を与えるか？

主な発見

• NASGBOは、Cifar10、Fashion-MNIST、MNIST、Sliceの各データセットで、NASBOT、TreeBO、SEASを上回る最高のテストセット性能を達成した。
• Fashion-MNISTデータセットでは、NASGBOは2つの残差ブロックで構成されるより単純なアーキテクチャを発見し、NASNM（5ブロック）やNASBOT（残差ブロックなし）よりも低い分類誤差を達成した。
• Sliceデータセットでは、NASGBOは最適なスキップ接続を有するよりコンパクトなアーキテクチャを生成し、比較手法の中で最も低いRMSEを達成した。
• CNNおよびMLPのベンチマークにおいて、NASGBOはNASBOTよりも収束が早く、特にCifar10およびSliceデータセットで評価効率が向上した。
• ベイジアンGNNサーヴィレートにより、GPsのO(N³)から線形時間へのトレーニングおよび予測時間の短縮が実現され、より大きな探索空間のスケーラブルな探索が可能になった。
• 本手法は多様なアーキテクチャとタスクにわたり頑健であり、精度および評価効率の面で、最新のアプローチを一貫して上回った。