[論文レビュー] DAAS: Differentiable Architecture and Augmentation Policy Search

Xiaoxing Wang, Xiangxiang Chu+2 more|arXiv (Cornell University)|Sep 30, 2021

Advanced Neural Network Applications参考文献 32被引用数 4

ひとこと要約

DAAS は、アーキテクチャ探索用に Gumbel-softmax を用いた二段階最適化と、増強探索用にポリシー勾配に基づく2次近似を用いた微分可能で統合的な探索フレームワークを提案する。CIFAR-10 では 97.91% の精度、ImageNet では 1 GPU 日で 76.6% のトップ-1 精度を達成し、従来手法に比べて CIFAR-10 で最大 0.5%、ImageNet で最大 1.0% の向上を実現した。

ABSTRACT

Neural architecture search (NAS) has been an active direction of automatic machine learning (Auto-ML), aiming to explore efficient network structures. The searched architecture is evaluated by training on datasets with fixed data augmentation policies. However, recent works on auto-augmentation show that the suited augmentation policies can vary over different structures. Therefore, this work considers the possible coupling between neural architectures and data augmentation and proposes an effective algorithm jointly searching for them. Specifically, 1) for the NAS task, we adopt a single-path based differentiable method with Gumbel-softmax reparameterization strategy due to its memory efficiency; 2) for the auto-augmentation task, we introduce a novel search method based on policy gradient algorithm, which can significantly reduce the computation complexity. Our approach achieves 97.91% accuracy on CIFAR-10 and 76.6% Top-1 accuracy on ImageNet dataset, showing the outstanding performance of our search algorithm.

研究の動機と目的

• NAS と AA が独立して最適化されるという限界に対処し、固定された増幅ポリシーがアーキテクチャ評価を歪める可能性を解消すること。
• ニューラルアーキテクチャとデータ増強ポリシーの相関関係を特定し、最適なポリシーがアーキテクチャに依存することを示すこと。
• 性能向上を目的として、アーキテクチャと増幅ポリシーを同時に最適化する統合的探索フレームワークを提案すること。
• 従来の微分可能な自己増幅手法における偏った勾配近似を克服するため、ポリシー勾配に基づく2次近似を導入すること。
• 独立した NAS と AA 最適化と比較して、統合的探索がモデル精度を顕著に向上させることを実証すること。

提案手法

• Gumbel-softmax 再パrameter化を用いたアーキテクチャパラメータの更新と、ポリシー勾配に基づく2次近似を用いた増幅パラメータの更新を交互に実行する二段階最適化問題を定式化する。
• 非微分可能な増幅パラメータの勾配推定のための新しいポリシー勾配ベースの手法を導入し、従来手法の偏った勾配近似を回避する。
• 各訓練イテレーションでスーパーネットエッジのサブセットをサンプリングすることで、計算コストを低減するメモリ効率の良い NAS 策略を採用する。
• DARTS に基づくアーキテクチャ探索空間と、操作タイプ、強度、適用確率を含む包括的な増幅ポリシー空間を統合した微分可能な探索空間を用いる。
• NAS と AA の両方の内部最適化ループに対して2次近似を適用し、エンド・ツー・エンドの勾配ベース最適化を可能にする。
• 2段階の訓練プロセスを採用する：まず、アーキテクチャと増幅ポリシーの統合的探索；次に、得られたモデルをデフォルトポリシーおよび探索済みポリシーの下で完全に訓練し、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャとデータ増強ポリシーを統合的に最適化することは、独立した最適化に比べてモデル性能を向上させるか？
• RQ2 偏った勾配近似を用いた従来手法と比較して、ポリシー勾配ベースの2次近似は自己増幅の精度と効率を向上させるか？
• RQ3 アーキテクチャの性能は、自身の探索済み増幅ポリシーの下で評価された場合と、固定されたデフォルトポリシーの下で評価された場合とでどのように変化するか？
• RQ4 最適なデータ増幅ポリシーが特定のニューラルアーキテクチャに依存する程度はどの程度か？
• RQ5 最小限の計算コスト（例：1 GPU 日）で最先端の精度を達成できる統合的探索フレームワークは可能か？

主な発見

• DAAS は CIFAR-10 で 97.91% のトップ-1 精度、ImageNet で 76.6% のトップ-1 精度を達成し、従来の NAS 手法に比べてそれぞれ最大 0.5%、1.0% の向上を実現した。
• 統合的探索フレームワークは、CIFAR-10 で平均 0.2% の向上を示し（2.24% 対 2.38% のトップ-1 誤差）、独立探索を上回った。
• 探索済みの増幅ポリシーを用いて訓練した場合、アーキテクチャの性能が最大 0.5% 向上した。これは、ポリシーとアーキテクチャの相関関係の重要性を示している。
• 自己増幅のためのポリシー勾配ベース手法は、従来の微分可能な AA 手法を上回り、4つのベンチマークで元の AA（Cubuk et al., 2019）でさえも上回った。探索コストは 1 GPU 日未満であった。
• アブレーションスタディの結果、個別に発見されたアーキテクチャとポリシーの混合組み合わせは、対応するペアに比べて性能が劣ることが確認され、統合的発見の価値が裏付けられた。
• 提案手法は、ポリシー勾配を用いて2次偏微分を簡素化することで計算コストを低減し、従来手法の偏った勾配近似を回避した。