[論文レビュー] Understanding the wiring evolution in differentiable neural architecture search

Sirui Xie, Shoukang Hu+5 more|arXiv (Cornell University)|Sep 2, 2020

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、異なる微分可能ニューラルアーキテクチャ探索（NAS）における暗黙のバイアスが、特定のワイヤリングトポロジーを他のものよりも好む理由を調査している。各エッジごとの局所的コスト最小化としてNASを再定式化することで、著者たちは、コスト割り当てメカニズムとトレーニングダイナミクス、特に二段階最適化における強いインダクティブバイアスが、トポロジー多様性を抑制し、深さよりも広がりがちな単純なアーキテクチャの優先的選択を引き起こすことを明らかにした。

ABSTRACT

Controversy exists on whether differentiable neural architecture search methods discover wiring topology effectively. To understand how wiring topology evolves, we study the underlying mechanism of several existing differentiable NAS frameworks. Our investigation is motivated by three observed searching patterns of differentiable NAS: 1) they search by growing instead of pruning; 2) wider networks are more preferred than deeper ones; 3) no edges are selected in bi-level optimization. To anatomize these phenomena, we propose a unified view on searching algorithms of existing frameworks, transferring the global optimization to local cost minimization. Based on this reformulation, we conduct empirical and theoretical analyses, revealing implicit inductive biases in the cost's assignment mechanism and evolution dynamics that cause the observed phenomena. These biases indicate strong discrimination towards certain topologies. To this end, we pose questions that future differentiable methods for neural wiring discovery need to confront, hoping to evoke a discussion and rethinking on how much bias has been enforced implicitly in existing NAS methods.

研究の動機と目的

• 微分可能NAS手法がトポロジー探索中に、表現力に理論的に同等であるにもかかわらず、なぜ常に広がりがちなアーキテクチャを好むのかを理解すること。
• ワイヤリングトポロジーの観察された進化パターン（例：エッジのプリーニング後に選択的に回復する現象）を引き起こす背後要因を調査すること。
• 既存のNASフレームワークに内在する暗黙のインダクティブバイアスを明らかにすること。
• 発見されたトポロジーがグローバル最適性を反映しているという仮定に反し、それらがトレーニング方式の制約によって形作られていることを示すこと。
• NASにおける二段階最適化と重み共有戦略の再評価を促し、アーキテクチャ探索における意図しないバイアスを低減すること。

提案手法

• 各エッジにおける局所的コスト最小化問題として微分可能NASを再定式化し、個々のエッジの挙動を解析的および実験的に研究可能にする。
• エッジコストを近似するスケーラブルなモンテカルロ推定器を導入し、探索中のトポロジー進化をミクロな視点で観察可能にする。
• NASにおけるコスト割り当てメカニズムと、通常の勾配ベースのパラメータ逆伝播との違いを分析する。
• 理論的および実験的分析により、コストダイナミクスとサーヴィレート損失の関連を明らかにし、トレーニングダイナミクスがトポロジー選択に与える影響を解明する。
• 分類損失 $L_{\bm{\theta}}$ とエントロピー $H_{\bm{\theta}}$ を用いて、トレーニングセットと探索セットの挙動を比較し、過学習および不確実性の誤設定を検出する。
• 二段階最適化を事例として取り上げ、コストの乖離と保留セットにおける誤った自信（false confidence）が原因でトポロジー発見に深刻な失敗を引き起こすことを示す。

実験結果

リサーチクエスチョン

• RQ1 理論的に表現力に同等であるにもかかわらず、微分可能NAS手法がなぜ深さよりも広がりがちなアーキテクチャを好むのか？
• RQ2 探索中にエッジが初期にプリーニングされ、その後に選択的に回復するという観察された進化パターンの原因は何か？
• RQ3 NASにおけるコスト割り当てメカニズムは、通常の勾配ベースのパラメータ更新とどのように異なり、どのようなバイアスを生じるのか？
• RQ4 なぜ二段階最適化は意味のあるワイヤリングトポロジーを発見できないのか？過学習と不確実性の誤設定はどのような役割を果たすのか？
• RQ5 発見されたアーキテクチャがグローバル最適性の結果であるのではなく、トレーニング方式の結果である可能性はどの程度か？

主な発見

• 微分可能NASにおけるコスト割り当てメカニズムは、標準的なバックプロパゲーションとは根本的に異なり、特定のトポロジーを好む暗黙のバイアスを導入する。
• 二段階最適化において、探索セットで誤った予測に対するコスト値は著しく正しくなる（2.18 対 0.80）ことから、トポロジー発見における深刻な失敗が示唆される。
• 探索セットで訓練されたサブネットワークは、トレーニングセットと比較して、より高い分類損失（$L_{\text{wrong}} = 2.92$）と低いエントロピー（$H_{\text{wrong}} = 0.74$）を示しており、過信と誤分類を示唆している。
• トレーニング中にコストが正から負に減少することでトポロジーの成長が促進されるが、二段階最適化ではこの傾向が逆転または停止し、エッジ選択が行われない。
• 広がりがちなトポロジーへの好まれる傾向は、本質的な優位性によるものではなく、ベースアーキテクチャとトレーニング方式に内在するインダクティブバイアスによるものである。
• 最終的なアーキテクチャはグローバルに最適ではないが、コストダイナミクス、正規化、重み共有の相互作用によって形作られており、現在のNAS評価の公平性に疑問を呈する。