[論文レビュー] Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels

Binxin Ru, Xingchen Wan+2 more|arXiv (Cornell University)|Jun 13, 2020

Machine Learning and Data Classification参考文献 82被引用数 20

ひとこと要約

本稿では、神経ネットワークアーキテクチャ探索空間をモデル化するためのガウス過程サーモンとワイスフェーラー＝レーマングラフカーネルを組み合わせたベイズ最適化フレームワーク、NAS-BOWLを提案する。トポロジー構造を捉え、解釈可能な特徴抽出を可能にすることで、NAS-BOWLは高いデータ効率を実現し、最先端の性能を達成するとともに、性能を左右するアーキテクチャモチーフに関する知見を提供する。

ABSTRACT

Current neural architecture search (NAS) strategies focus only on finding a single, good, architecture. They offer little insight into why a specific network is performing well, or how we should modify the architecture if we want further improvements. We propose a Bayesian optimisation (BO) approach for NAS that combines the Weisfeiler-Lehman graph kernel with a Gaussian process surrogate. Our method optimises the architecture in a highly data-efficient manner: it is capable of capturing the topological structures of the architectures and is scalable to large graphs, thus making the high-dimensional and graph-like search spaces amenable to BO. More importantly, our method affords interpretability by discovering useful network features and their corresponding impact on the network performance. Indeed, we demonstrate empirically that our surrogate model is capable of identifying useful motifs which can guide the generation of new architectures. We finally show that our method outperforms existing NAS approaches to achieve the state of the art on both closed- and open-domain search spaces.

研究の動機と目的

• 既存のNAS手法のブラックボックス性を解消し、アーキテクチャ探索に解釈可能性を導入すること。
• 高次元でグラフに類似したNAS探索空間において、データ効率的な最適化を可能にすること。
• 性能を左右する意味のあるアーキテクチャモチーフを同定し、今後の設計を支援すること。
• 閉域および開域探索空間の両方において、既存のBOベースのNAS手法を上回ること。

提案手法

• 本手法は、神経ネットワークアーキテクチャグラフのトポロジーをモデル化するために、ガウス過程サーモン（GPWL）とワイスフェーラー＝レーマン部分木カーネルを組み合わせる。
• アーキテクチャ表現は、ノード属性付きの有向非巡回グラフ（DAG）として符号化され、カーネル計算にあたってトポロジー構造を保持する。
• GPWLサーモンにより、不確実性の定量化と自動的なハイパーパrameter処理を伴うデータ効率的な学習が可能になる。
• 解釈可能な特徴はWLカーネルを用いて抽出され、その性能への影響はサーモン勾配を用いて分析される。
• 各BO反復において、変異に基づくアセスメント戦略が採用され、新たな候補アーキテクチャが生成される。
• 本フレームワークは、閉域（NAS-Bench）および開域（DARTSスタイル）の両方の探索空間をサポートする。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースのGPサーモンは、ニューラルアーキテクチャ探索空間のトポロジー構造を効果的にモデル化できるか？
• RQ2 WLカーネルは、性能と相関する解釈可能なアーキテクチャモチーフを抽出できるか？
• RQ3 GPWLサーモンは、既存の手法と比較して、データ効率的かつ高性能なNASを実現できるか？
• RQ4 同定されたモチーフは、新しいタスクにおける転移学習やウォームスタート探索を支援できるか？

主な発見

• NAS-BOWLは、NAS-Bench 101および201の両データセットで最先端の性能を達成し、クエリ数を減らして既存のBOベースのNAS手法を上回った。
• 本手法は優れたデータ効率性を示し、競合手法と比較してはるかに少ないアーキテクチャ評価回数で最適性能に収束した。
• WLカーネルのマルチスケール特徴抽出が不可欠であることが示された：ノード特徴のみ（VH）を用いる場合、性能が著しく低下し、トポロジー構造の重要性が浮き彫りになった。
• WLカーネルを用いて抽出された解釈可能な特徴は、意味のあるアーキテクチャモチーフに対応しており、転移学習においても有効であることが検証された。
• アセプション関数の選択（UCB対期待改善）が性能に与える影響は最小限であり、アセプション戦略に対して頑健であることが示された。
• 変異アルゴリズムの使用が、探索空間の探索を著しく向上させたことが示され、その有効性が裏付けられた。