[論文レビュー] $β$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search

Peng Ye, Baopu Li+4 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Neural Network Applications被引用数 14

ひとこと要約

本稿では、異なるiableニューラルアーキテクチャサーチにおける活性化されたアーキテクチャパラメータ（β）を明示的に正則化する新しい正則化手法β-DARTSを提案する。これにより、パフォーマンス崩壊に対するロバスト性と、異なるデータセット間での一般化性能が向上する。β（ソフトマックス後）にベータ減衰正則化を適用することで、訓練の安定化、ハイパーパramータへの感受性の低減、および最小限の計算コストでNAS-Bench-201およびNAS-Bench-1Shot1で最先端の性能を達成する。

ABSTRACT

Neural Architecture Search~(NAS) has attracted increasingly more attention in recent years because of its capability to design deep neural networks automatically. Among them, differential NAS approaches such as DARTS, have gained popularity for the search efficiency. However, they suffer from two main issues, the weak robustness to the performance collapse and the poor generalization ability of the searched architectures. To solve these two problems, a simple-but-efficient regularization method, termed as Beta-Decay, is proposed to regularize the DARTS-based NAS searching process. Specifically, Beta-Decay regularization can impose constraints to keep the value and variance of activated architecture parameters from too large. Furthermore, we provide in-depth theoretical analysis on how it works and why it works. Experimental results on NAS-Bench-201 show that our proposed method can help to stabilize the searching process and makes the searched network more transferable across different datasets. In addition, our search scheme shows an outstanding property of being less dependent on training time and data. Comprehensive experiments on a variety of search spaces and datasets validate the effectiveness of the proposed method.

研究の動機と目的

• DARTSにおけるロバスト性の問題、特にスキップ接続の優位性によるパフォーマンス崩壊を解決すること。
• 探索されたアーキテクチャの異なるデータセットおよび探索空間間での一般化能力を向上させること。
• 非活性化されたアーキテクチャパラメータ（α）に対する標準的なL2正則化や重み減衰の限界を克服すること。これらは効果的でない、あるいは逆効果になる可能性がある。
• アーキテクチャやトレーニングコストを変更せずに、活性化されたアーキテクチャパラメータ（β）に直接作用する単純で効果的かつ汎用的な正則化手法を開発すること。
• αではなくβに対する正則化が、より安定的かつ転送可能なアーキテクチャをもたらすことを示すこと。

提案手法

• 活性化されたアーキテクチャパラメータβに対するベータ減衰正則化を提案する。これは、操作ごとのαkの指数和の対数（𝒟β = log∑exp(αk)）として定義され、βのエントロピーと分散を正則化する。
• PyTorchの1行コードで実装可能：`torch.mean(torch.logsumexp(self.model._arch_parameters, dim=-1))`。これにより、既存のDARTSフレームワークへのシームレスな統合が可能になる。
• 理論的分析により、ベータ減衰はアーキテクチャパラメータ空間のリプシッツ定数を最小化することが示され、一般化性能の向上と、操作間の不平等な競合の緩和に寄与する。
• 正則化損失に線形増加型の重み付けスキームを導入することで、ハイパーパramータλへの感受性が低減され、安定性が向上する。
• すべてのアーキテクチャパラメータを正則化するベータグローバル損失、またはしきい値に対する相対的な正則化を行うベータゼロ損失といった変種を検討し、本手法の汎用性を検証する。
• 標準DARTSおよびSDARTS-RSの両方への適用により、複数の探索空間およびベンチマーク（NAS-Bench-201、NAS-Bench-1Shot1）で有効性を実証する。

実験結果

リサーチクエスチョン

• RQ1 活性化されたアーキテクチャパラメータβに対する明示的正則化が、DARTSのパフォーマンス崩壊に対するロバスト性を向上させることができるか？
• RQ2 αに対する標準的なL2正則化や重み減衰と比較して、βに対する正則化が異なるデータセット間での探索アーキテクチャの一般化性能を向上させるか？
• RQ3 正則化の位置（α対β）の選択が、微分可能NASにおける最適化の安定性および最終的なパフォーマンスに与える影響は何か？
• RQ4 ベータ減衰のような単純で軽量な正則化が、探索空間やトレーニング手順の変更なしに最先端の結果を達成できるか？
• RQ5 提案手法はハイパーパramータλ（正則化係数）に対してどれほど感受性を示すか？また、適応的重み付けスキームによりその感受性を低減できるか？

主な発見

• β-DARTSはNAS-Bench-201において探索プロセスを著しく安定化させ、パフォーマンスの低下を伴わずに一貫した収束を示す探索軌道を示す。
• 単一実行での探索において、CIFAR-10（97.55%）およびCIFAR-100（90.23%）で最先端の精度を達成し、標準DARTSや他のベースラインを上回る。
• NAS-Bench-1Shot1では、3つのすべての探索空間でβ-SDARTS-RSがSDARTS-RSよりも低いバリデーション誤差およびテスト誤差を達成し、最適パフォーマンスへの収束が速い。
• 線形増加型の正則化係数スキームにより、ハイパーパramータλへの感受性が低減され、最大重み値が25〜100（NAS-Bench-201）の広い範囲で安定した性能が得られる。
• ベータグローバルおよびベータゼロ損失の変種も性能向上をもたらし、βに対する正則化が実装方法に依存せず有効であることを確認。特にベータグローバルは優れた安定性を示す。
• 本手法は強力な転送性を示し、単一のデータセットでの学習でも、ImageNetや他のデータセットへも良好に一般化される。