[論文レビュー] Deeper Insights into Weight Sharing in Neural Architecture Search

Yuge Zhang, Zejun Lin+6 more|arXiv (Cornell University)|Jan 6, 2020

Advanced Neural Network Applications参考文献 30被引用数 35

ひとこと要約

本論文は weight-sharing NAS を実証的に分析し、子モデルのランキングにおける高い不安定性とばらつきを示し、部分的な重み共有がランキングを安定化させ性能を向上させることを実証する。

ABSTRACT

With the success of deep neural networks, Neural Architecture Search (NAS) as a way of automatic model design has attracted wide attention. As training every child model from scratch is very time-consuming, recent works leverage weight-sharing to speed up the model evaluation procedure. These approaches greatly reduce computation by maintaining a single copy of weights on the super-net and share the weights among every child model. However, weight-sharing has no theoretical guarantee and its impact has not been well studied before. In this paper, we conduct comprehensive experiments to reveal the impact of weight-sharing: (1) The best-performing models from different runs or even from consecutive epochs within the same run have significant variance; (2) Even with high variance, we can extract valuable information from training the super-net with shared weights; (3) The interference between child models is a main factor that induces high variance; (4) Properly reducing the degree of weight sharing could effectively reduce variance and improve performance.

研究の動機と目的

• 重み共有が NAS の精度と安定性に、実行間およびエポック間でどのように影響するかを評価する。
• 共有重みスーパーネットにおける子モデル間のばらつきと干渉を定量化する。
• 不安定性を引き起こすメカニズムを特定し、それを低減する戦略を検討する。
• NAS の性能を改善するための部分的な重み共有スキームを提案し、評価する。

提案手法

• 真の比較を可能にするため、64 個の子モデルが存在する縮小版の NAS 探索空間を構築する。
• 共有重みを持つ単一のスーパーネットを訓練し、すべての子モデルを検証セットで評価する。
• 各子モデルを独立に訓練して得られる ground-truth パフォーマンスと、共有重みのパフォーマンスを比較する。
• ランキングの安定性を測るために Kendall’s tau（S-Tau、GT-Tau）を、トップモデル探索を評価するために Top-n-Rank を用いる。
• スーパーネット訓練中の子モデル間のミニバッチごとの干渉を分析して、ばらつきの源を調査する。
• グループ共有やプレフィックス共有を含む部分的な重み共有を実験し、ばらつきを低減し、ランキングへの影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 複数の実行やエポックにわたって重み共有を使用した場合、子モデルのランキングはどの程度安定しているか。
• RQ2 スーパーネットの共有重みは、ゼロから再訓練する場合と比較して、高性能な子モデルの選択にどの程度情報を提供できるか。
• RQ3 重み共有下での子モデル間の主なばらつきと干渉の源は何か。
• RQ4 重み共有の度合いを減らす（部分的共有）ことで安定性と ground truth 性能との整合性を改善できるか。

主な発見

• 重み共有下の子モデルのランキングは、実行やエポックを跨いで非常に不安定である。
• 共有重み訓練は追従することはできても ground-truth ランキングに到達せず、かなりのばらつきがある。
• 共同訓練された子モデル間の干渉がランキング不安定性の主要な要因である。
• 部分的重み共有戦略（グルーピング、類似度ベースのグルーピング、プレフィックス共有）はばらつきを減らし、計算コストのトレードオフはあるが ground truth に近いランキングを得られる。
• スーパーネットのスナップショットから子モデルをファインチューニングすることで、追加訓練が限定的でもランキング品質を著しく向上させる。