[論文レビュー] Understanding Neural Architecture Search Techniques

George Alexandru Adam, Jonathan Lorraine|arXiv (Cornell University)|Mar 31, 2019

Adversarial Robustness in Machine Learning参考文献 9被引用数 29

ひとこと要約

この論文は、ENASのようなニューラルアーキテクチャサーチ（NAS）手法が、コントローラーの解釈性が低いにもかかわらずなぜ優れた性能を発揮するのかを調査する。ENASのRNNコントローラーが過去のアーキテクチャ意思決定を正しくエンコードできていないことが示され、その結果、ランダムサーチと同等の性能にとどまっている。本研究では、過去の行動に条件づけられるようにコントローラーを正則化するメモリ拡張型正則化手法を提案し、隠れ状態の解釈性を向上させ、コントローラー埋め込みとアーキテクチャ類似度指標との相関を高めた。これにより、重み共有のヒューリスティックを超えて、より良いコントローラー設計がNAS性能を向上させられることを示した。

ABSTRACT

Automatic methods for generating state-of-the-art neural network architectures without human experts have generated significant attention recently. This is because of the potential to remove human experts from the design loop which can reduce costs and decrease time to model deployment. Neural architecture search (NAS) techniques have improved significantly in their computational efficiency since the original NAS was proposed. This reduction in computation is enabled via weight sharing such as in Efficient Neural Architecture Search (ENAS). However, recently a body of work confirms our discovery that ENAS does not do significantly better than random search with weight sharing, contradicting the initial claims of the authors. We provide an explanation for this phenomenon by investigating the interpretability of the ENAS controller's hidden state. We find models sampled from identical controller hidden states have no correlation with various graph similarity metrics, so no notion of structural similarity is learned. This failure mode implies the RNN controller does not condition on past architecture choices. Lastly, we propose a solution to this failure mode by forcing the controller's hidden state to encode pasts decisions by training it with a memory buffer of previously sampled architectures. Doing this improves hidden state interpretability by increasing the correlation between controller hidden states and graph similarity metrics.

研究の動機と目的

• ENASや類似NAS手法がコントローラーの解釈性が低いにもかかわらず強力な性能を発揮する理由を調査すること。
• ENASにおけるポリシー勾配学習が、隠れ状態に意味のあるアーキテクチャバイアスをもたらさない理由を診断すること。
• RNNコントローラーが過去の行動に依存しないという失敗モードが、ランダムサーチと区別がつかない性能にとどまることを特定すること。
• 過去の意思決定をエンコードするようにコントローラーに強制する正則化手法を提案し、解釈性と探索効率を向上させること。
• 改善されたコントローラー埋め込みが、実際のアーキテクチャ類似度と相関しているかどうかを評価すること。

提案手法

• ポリシー勾配学習中にコントローラーの隠れ状態を正則化するため、以前にサンプリングされたアーキテクチャのメモリバッファを導入する。
• 最終隠れ状態がサンプリング中にとられたアーキテクチャ選択を反映するよう、教師あり損失を用いてコントローラーを訓練する。
• ポリシー勾配と教師あり学習を組み合わせたハイブリッド損失を用いる：$\mathcal{L} = \mathcal{L}_{PG} + \mathcal{L}_{Sup}$。
• 分布シフトや不正を防ぐために、過去のコントローラーパラメータからサンプリングされたアーキテクチャを用いてメモリバッファを構築する。
• 最終隠れ状態間のL2距離を用いてコントローラー埋め込みの類似度を測定し、グラフベースのアーキテクチャ指標と相関をとる。
• スピアマン順位相関を用いて、埋め込み距離とアーキテクチャ類似度指標（共通の活性化関数、接続数、グラフ編集距離など）との関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 ENASコントローラーの隠れ状態は、過去のアーキテクチャ意思決定に関する意味のある情報をエンコードしているか？
• RQ2 強化学習を用いているにもかかわらず、なぜENASはランダムサーチと同等の性能を示すのか？
• RQ3 過去の行動に条件づけるように強制する正則化手法により、コントローラー隠れ状態の解釈性を向上させられるか？
• RQ4 コントローラー埋め込み空間における距離が、実際のアーキテクチャ類似度をどの程度反映しているか？
• RQ5 埋め込み距離とアーキテクチャ間の検証性能差に相関があるか？

主な発見

• ENASのコントローラー隠れ状態は、アーキテクチャ類似度指標と相関がなく、構造的依存関係を学習できていないことを示している。
• 重み共有を用いたランダムサーチとENASの性能は同等であり、性能向上が知的なアーキテクチャ探索によるものではなく、重み共有による混同効果によるものである可能性を示唆している。
• 提案された教師あり正則化手法により、コントローラー隠れ状態とアーキテクチャ類似度の相関が向上し、特に共通の活性化関数（スピアマンr = -0.404）と性能差（r = 0.163）において顕著であった。
• 教師ありコントローラーは、異なるアーキテクチャに対して隠れ状態に明確なばらつきを示す一方、教師なしコントローラーは一様な決定的出力に収束しており、可視的な変動が見られない。
• 正則化により、最も確率の高い行動の確率が過去の意思決定に依存するようになり、過去の選択に適切に条件づけられていることが示された。
• 結果から、NAS性能は重み共有のヒューリスティックに依存するのではなく、より良いコントローラー設計によって向上させられることを示唆している。