[论文解读] DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture

Kaichen Zhou, Lanqing Hong+5 more|arXiv (Cornell University)|Sep 13, 2021

Advanced Neural Network Applications参考文献 64被引用 8

一句话总结

DHA 提出了一种端到端、可微分的框架，用于联合优化数据增强（DA）策略、超参数优化（HPO）和神经架构搜索（NAS），消除了重新训练的需求。通过将 DA 和 HPO 建模为动态调度器，并在压缩的特征空间中进行优化，DHA 在 ImageNet 上实现了 SOTA（77.4% Top-1）以及多个基准测试的最先进性能，且计算成本更低。

ABSTRACT

Automated machine learning (AutoML) usually involves several crucial components, such as Data Augmentation (DA) policy, Hyper-Parameter Optimization (HPO), and Neural Architecture Search (NAS). Although many strategies have been developed for automating these components in separation, joint optimization of these components remains challenging due to the largely increased search dimension and the variant input types of each component. In parallel to this, the common practice of searching for the optimal architecture first and then retraining it before deployment in NAS often suffers from low performance correlation between the searching and retraining stages. An end-to-end solution that integrates the AutoML components and returns a ready-to-use model at the end of the search is desirable. In view of these, we propose DHA, which achieves joint optimization of Data augmentation policy, Hyper-parameter and Architecture. Specifically, end-to-end NAS is achieved in a differentiable manner by optimizing a compressed lower-dimensional feature space, while DA policy and HPO are regarded as dynamic schedulers, which adapt themselves to the update of network parameters and network architecture at the same time. Experiments show that DHA achieves state-of-the-art (SOTA) results on various datasets and search spaces. To the best of our knowledge, we are the first to efficiently and jointly optimize DA policy, NAS, and HPO in an end-to-end manner without retraining.

研究动机与目标

• 解决传统 AutoML 流水线中分别优化 DA、HPO 和 NAS 所导致的低效与次优性能问题。
• 克服两阶段 NAS 和 DA 方法中常见的搜索阶段与重新训练阶段之间的性能差距。
• 通过单一、可微分的端到端训练过程，实现 DA、HPO 和 NAS 的联合优化，以提升模型泛化能力和效率。
• 通过在低维压缩特征空间中进行优化，而非高维架构空间，降低搜索空间的复杂度。
• 证明联合优化多个 AutoML 组件相较于顺序或成对优化，能够带来更优的性能表现。

提出的方法

• 将数据增强和超参数优化建模为动态调度器，能够实时响应网络架构和参数的变化。
• 通过稀疏编码实现可微分架构搜索，以优化压缩的低维特征空间，从而实现端到端的 NAS。
• 将 DA 策略、HPO 和 NAS 整合到单一可微分优化目标中，支持联合、同步更新。
• 采用统一的训练流程，通过直接端到端优化所有组件，避免重新训练，保持搜索阶段与部署阶段的一致性。
• 利用可微分操作，实现对所有 AutoML 组件（包括架构、增强和超参数）的基于梯度的优化。
• 应用滤波归一化以可视化和分析损失曲面，表明 DHA 的极小值区域比顺序方法更平坦、更平滑。

实验结果

研究问题

• RQ1 是否能够实现数据增强、超参数调优和神经架构搜索的端到端联合优化，且无需重新训练？
• RQ2 与顺序优化相比，端到端联合优化在最终模型准确率和训练稳定性方面表现如何？
• RQ3 联合优化对损失曲面的几何结构有何影响，特别是在平坦度和泛化能力方面？
• RQ4 同时整合全部三个 AutoML 组件（DA、HPO、NAS）是否比仅优化其中两个组件带来更大的性能提升？
• RQ5 压缩的特征空间表示是否能有效支持可微分 NAS，同时保持高准确率和低计算成本？

主要发现

• 在基于单元的搜索空间下，DHA 在 ImageNet 上实现了 77.4% 的 Top-1 准确率，比之前 SOTA 提升 0.5%。
• 在 CIFAR10、CIFAR100、SPORT8、MIT67、FLOWERS102 和 ImageNet 上，DHA 以更低的计算成本实现了 SOTA 性能。
• DHA 的损失曲面比 Sequential-DHA 和 One-Stage ISTA 更平坦、更平滑，表明其具有更好的泛化能力和鲁棒性。
• 联合优化全部三个组件（DA、HPO、NAS）的测试准确率高于任意成对或顺序组合，其中将 DA 加入 NAS 所带来的性能增益最大。
• 端到端训练过程使验证准确率曲线更平滑，避免了顺序方法因重新训练而出现的性能下降。
• 大量消融实验表明，DHA 的联合优化策略在所有评估数据集上均显著优于顺序或成对优化。