[論文レビュー] DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture

Kaichen Zhou, Lanqing Hong+5 more|arXiv (Cornell University)|Sep 13, 2021

Advanced Neural Network Applications参考文献 64被引用数 8

ひとこと要約

DHAは、再訓練を必要としないエンドツーエンドで微分可能なフレームワークを提案し、データオーグメンテーション（DA）ポリシー、ハイパーパramータ最適化（HPO）、ニューラルアーキテクチャサーチ（NAS）の共同最適化を実現する。DAとHPOを動的スケジューラとしてモデル化し、圧縮された特徴空間を最適化することで、ImageNet（Top-1 77.4%）および多数のベンチマークで最先端（SOTA）の精度を達成し、計算コストも低く抑えられる。

ABSTRACT

Automated machine learning (AutoML) usually involves several crucial components, such as Data Augmentation (DA) policy, Hyper-Parameter Optimization (HPO), and Neural Architecture Search (NAS). Although many strategies have been developed for automating these components in separation, joint optimization of these components remains challenging due to the largely increased search dimension and the variant input types of each component. In parallel to this, the common practice of searching for the optimal architecture first and then retraining it before deployment in NAS often suffers from low performance correlation between the searching and retraining stages. An end-to-end solution that integrates the AutoML components and returns a ready-to-use model at the end of the search is desirable. In view of these, we propose DHA, which achieves joint optimization of Data augmentation policy, Hyper-parameter and Architecture. Specifically, end-to-end NAS is achieved in a differentiable manner by optimizing a compressed lower-dimensional feature space, while DA policy and HPO are regarded as dynamic schedulers, which adapt themselves to the update of network parameters and network architecture at the same time. Experiments show that DHA achieves state-of-the-art (SOTA) results on various datasets and search spaces. To the best of our knowledge, we are the first to efficiently and jointly optimize DA policy, NAS, and HPO in an end-to-end manner without retraining.

研究の動機と目的

• DA、HPO、NASを別々に最適化する従来の順次AutoMLパイプラインにおける非効率さと性能の劣化を是正すること。
• 2段階NASやDA手法で一般的に見られる、探索段階と再訓練段階の間の性能ギャップを克服すること。
• モデルの汎化性能と効率性を向上させるために、DA、HPO、NASのエンドツーエンドで微分可能な1つの訓練プロセスにおいて、同時に最適化すること。
• 高次元のアーキテクチャ空間ではなく、低次元の圧縮された特徴空間を最適化することで、探索空間の複雑さを低減すること。
• 複数のAutoMLコンponentの共同最適化が、順次的またはペアワイズ最適化よりも優れた性能をもたらすことを実証すること。

提案手法

• ネットワークアーキテクチャやパラメータの変化に応じてリアルタイムで適応する動的スケジューラとして、データオーグメンテーションとハイパーパramータ最適化をモデル化する。
• スパースコーディングを用いて圧縮された低次元特徴空間を最適化する、微分可能なアーキテクチャ探索（differentiable architecture search）によりエンドツーエンドNASを実装する。
• DAポリシー、HPO、NASを1つの微分可能な最適化目的関数に統合し、同時に更新可能な共同最適化を可能にする。
• 再訓練を回避する包括的な訓練プロセスを採用し、探索段階とデプロイ段階の整合性を保つ。
• 微分可能な演算を活用して、アーキテクチャ、オーグメンテーション、ハイパーパramータを含むすべてのAutoMLコンponentで勾配ベースの最適化を実現する。
• フィルターノーマライゼーションを適用し、損失関数の地形を可視化・分析することで、DHAは順次手法と比較してより平坦で滑らかな極小値を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、エンドツーエンドでデータオーグメンテーション、ハイパーパramータチューニング、ニューラルアーキテクチャサーチの共同最適化が可能か？
• RQ2 最終的なモデル精度と訓練安定性の観点から、エンドツーエンド共同最適化は順次最適化と比べてどのように異なるか？
• RQ3 共同最適化が損失関数の地形、特に平坦性と汎化性能に与える影響は何か？
• RQ4 DA、HPO、NASの3つのAutoMLコンponentをすべて統合することで、任意の2つを最適化する場合よりも大きな性能向上が得られるか？
• RQ5 圧縮された特徴空間表現は、高い精度と低い計算コストを維持しつつ、微分可能なNASを有効に可能にするか？

主な発見

• DHAは、セルベースの探索空間を用いてImageNetで77.4%のTop-1精度を達成し、前回のSOTAを0.5%上回った。
• CIFAR10、CIFAR100、SPORT8、MIT67、FLOWERS102、およびImageNetにおいて、DHAは既存の手法よりも計算コストを低く抑えつつSOTA性能を達成した。
• DHAの損失関数の地形は、Sequential-DHA や One-Stage ISTA よりも平坦で滑らかであり、より優れた汎化性能とロバストネスを示している。
• DA、HPO、NASの3つのコンponentをすべて共同最適化すると、任意のペアワイズまたは順次的組み合わせよりも高いテスト精度が得られ、特にNASにDAを追加することで最大の向上が見られた。
• エンドツーエンド訓練プロセスにより、滑らかなバリデーション精度の推移が得られ、再訓練に起因する性能低下が順次手法で見られるのとは対照的であった。
• 広範なアブレーションスタディにより、DHAの共同最適化戦略が、評価されたすべてのデータセットで順次的またはペアワイズ最適化を顕著に上回ることが確認された。