[論文レビュー] To Share or Not To Share: A Comprehensive Appraisal of Weight-Sharing

Aloïs Pourchot, Alexis Ducarouge+1 more|arXiv (Cornell University)|Feb 11, 2020

Food Waste Reduction and Sustainability参考文献 27被引用数 13

ひとこと要約

この論文は、nasbench-101データセットを用いて、ニューラルアーキテクチャサーチ（NAS）における重み共有（WS）の評価を行い、WSはプロキシ精度と真の精度の間に良好な相関を達成するが、プロキシ評価における探索空間依存のバイアスのため、しばしばランダムサーチに劣ることを示している。研究では、構造的バイアス（例えば、残差接続や3×3畳み込みの過大評価）が相関の程度よりもNASのパフォーマンスをより強く損なうことが明らかになった。

ABSTRACT

Weight-sharing (WS) has recently emerged as a paradigm to accelerate the automated search for efficient neural architectures, a process dubbed Neural Architecture Search (NAS). Although very appealing, this framework is not without drawbacks and several works have started to question its capabilities on small hand-crafted benchmarks. In this paper, we take advantage of the asbench dataset to challenge the efficiency of WS on a representative search space. By comparing a SOTA WS approach to a plain random search we show that, despite decent correlations between evaluations using weight-sharing and standalone ones, WS is only rarely significantly helpful to NAS. In particular we highlight the impact of the search space itself on the benefits.

研究の動機と目的

• 重み共有（WS）がランダムサーチに比べて、一貫してニューラルアーキテクチャサーチ（NAS）の効率を向上させるかどうかを評価すること。
• 探索空間の構造が、WSプロキシ評価におけるバイアスをどのように形成するかを調査すること。
• WSプロキシスコアとスタンドアロン精度との間に高い相関がある場合でも、それがNASパフォーマンスの向上を保証するかどうかを特定すること。
• バッチ正則化の微調整およびトレーニング手法が、WS評価の品質に与える影響を検討すること。
• WSが単純なベースライン（例えばランダムサーチやRegularized Evolution）に劣ることがある理由を理解すること。

提案手法

• 10万件を超えるアーキテクチャの正確な検証精度を提供するnasbench-101データセットを活用し、WSの性能を評価した。
• 4つの異なる探索空間（$\mathcal{A}_1$, $\mathcal{A}_4$, $\mathcal{A}_{\text{full}}^{\text{res}}$, および $\mathcal{A}_{\text{full}}^{\text{res}}$）において、重み共有を用いてスーパーネットを訓練した。
• プロキシ精度とスタンドアロン評価との相関を向上させるために、スーパーネット内のバッチ正則化統計を微調整した。
• 同じ探索空間上で、WS指導致し探索とランダムサーチ、およびRegularized Evolution（RE）を比較した。
• プロキシ精度と真の精度の散布図を分析し、WS評価における構造的バイアスを特定した。
• クラスタリングおよび分布解析を用いて、特定のアーキテクチャパターンの系統的な過大評価または過小評価を検出した。

実験結果

リサーチクエスチョン

• RQ1 異なる探索空間において、重み共有はランダムサーチに比べて一貫してNASパフォーマンスを向上させるのか？
• RQ2 WSプロキシスコアとスタンドアロン精度との相関が、実際にNASの成功をどれほど予測できるのか？
• RQ3 スーパーネット内の構造的バイアスが、WSをNASプロキシとしての信頼性にどのように影響するのか？
• RQ4 WS評価における探索空間固有のバイアスが、なぜWSが単純なベースラインに劣ることがあるのかを説明できるのか？
• RQ5 バッチ正則化の微調整が、WSプロキシ評価の品質向上に果たす役割は何か？

主な発見

• バッチ正則化統計の微調整は、WSプロキシスコアとスタンドアロン精度との間に高い相関を達成する上で不可欠である。
• 一部のケースでは良好な相関（例：Spearmanのrho > 0.7）が得られたが、WS指導致し探索は一貫してランダムサーチやRegularized Evolutionに劣ることがあった。
• $\mathcal{A}_4$では、最初のノードに3×3畳み込みを持つアーキテクチャに対する強い過大評価バイアスが生じ、上位モデルの選定が著しく劣化し、結果としてWSはランダムサーチよりも悪い性能を示した。
• $\mathcal{A}_1$では、残差接続を好むバイアスがWSパフォーマンスを向上させた。これは、WSの効率が探索空間の構造に強く依存していることを示している。
• プロキシ精度分布に複数のモードが存在することは、相関係数だけでは捉えきれない系統的なバイアスが存在することを示している。
• 探索空間に依存するWS評価のバイアス（特定のアーキテクチャパターンの過大評価など）が、相関の質よりもNASの結果をより強く左右することが多い。