[論文レビュー] BETANAS: BalancEd TrAining and selective drop for Neural Architecture Search

Muyuan Fang, Qiang Wang+1 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Neural Network Applications参考文献 29被引用数 12

ひとこと要約

BETANASは、重み共有スーパーネット学習における勾配競合を軽減し、公平な性能評価を保証するため、バランスの取れた学習と選択的パスドロップを組み合わせた新しいニューラルアーキテクチャサーチ手法を提案する。高い性能を示すパスを一貫して重点的に学習し、低性能なパスを段階的に削除することで、モバイル設定下でImageNetにおいて79.0%のトップ1精度を達成し、従来の最先端手法よりも精度と効率の両面で優れている。

ABSTRACT

Automatic neural architecture search techniques are becoming increasingly important in machine learning area. Especially, weight sharing methods have shown remarkable potentials on searching good network architectures with few computational resources. However, existing weight sharing methods mainly suffer limitations on searching strategies: these methods either uniformly train all network paths to convergence which introduces conflicts between branches and wastes a large amount of computation on unpromising candidates, or selectively train branches with different frequency which leads to unfair evaluation and comparison among paths. To address these issues, we propose a novel neural architecture search method with balanced training strategy to ensure fair comparisons and a selective drop mechanism to reduce conflicts among candidate paths. The experimental results show that our proposed method can achieve a leading performance of 79.0% on ImageNet under mobile settings, which outperforms other state-of-the-art methods in both accuracy and efficiency.

研究の動機と目的

• 重み共有NASにおけるサブネットワークパス間の学習頻度の不均衡を是正することで、偏りのない性能評価を実現すること。
• トレーニング中に低性能なパスを段階的にドロップすることで、スーパーネット内の候補パス間の勾配干渉を低減すること。
• 別々に学習する方法とワンショットNASの利点を統合し、公平な比較を保ちつつ学習効率を維持すること。
• 性能に基づく動的プルーニングにより、有望でないパスを削除することで、探索効率と最終アーキテクチャの精度を向上させること。

提案手法

• すべての残存パスが同等の頻度で学習されるように保証するバランスの取れた学習戦略を導入し、公平な性能比較を可能にする。
• 平均より著しく低い性能を示すパスを段階的に削除することで、勾配干渉を低減する選択的ドロップメカニズムを採用する。
• 2段階の最適化戦略を採用：トレーニング（最適化）とアーキテクチャ探索（評価）に分離されたポリシーを用い、パス選択とトレーニングダイナミクスを分離する。
• グループ平均に対して一貫して性能が低いパスのみをプルーニングする性能ベースのプルーニング基準を適用し、価値のあるアーキテクチャを保存する。
• すべての候補パスに共有重みを持つスーパーネットを維持するが、選択的にサブネットワークをトレーニングおよび評価することで、計算オーバーヘッドを低減する。
• 勾配ベースのアーキテクチャ探索に微分可能パスサンプリング戦略を適用し、学習効率とメモリ使用量を向上させる。

実験結果

リサーチクエスチョン

• RQ1 重み共有スーパーネットにおけるサブネットワークの性能評価を、どのようにして公平かつ偏りのないものに保てるか？
• RQ2 探索効率を損なわずに、スーパーネット内の競合パス間の勾配干渉を低減する戦略は何か？
• RQ3 バランスの取れた学習と選択的パスドロップを組み合わせたハイブリッドアプローチは、従来のワンショットおよび別々に学習するNAS手法を、精度と効率の両面で上回ることができるか？
• RQ4 相対的性能に基づくパスプルーニングは、最終的なアーキテクチャの品質とトレーニング安定性をどの程度向上させるか？

主な発見

• BETANASは、モバイル設定下でImageNetにおいて79.0%のトップ1精度という、新たな最先端水準を達成し、従来手法を精度と効率の両面で上回った。
• 全パスの完全収束を必要としないため、探索中の計算コストを従来手法より低減しながら、優れた性能を維持した。
• 実験では、ブランチ数が少ない（B2）ネットワークが、より良い収束性を示し、独立して学習されたネットワーク（NS）と類似した順位付けを示す一方で、ブランチ数の多い（B4）ネットワークはその傾向が弱く、パス干渉の低減効果が裏付けられた。
• アブレーションスタディでは、選択的ドロップ機構がパス間の相互干渉を効果的に低減しており、収束性と性能安定性の向上が確認された。
• バランスの取れた学習戦略により、候補パス間の性能ランク付けがより公平になり、別々に学習する手法で観察されるマシュー効果の緩和が達成された。
• 可視化分析により、特にリソース制限下において、競合手法よりも正確で効率的なアーキテクチャが選択されていることが確認された。