[论文解读] Joint Search of Data Augmentation Policies and Network Architectures

Taiga Kashima, Yoshihiro Yamada+1 more|arXiv (Cornell University)|Dec 17, 2020

Data Quality and Management参考文献 24被引用 7

一句话总结

该论文提出了一种可微分的端到端方法，通过Faster Auto-Augmentation和DARTS联合优化数据增强策略与神经网络架构。通过使整个流程可微分，该方法实现了同步优化，在CIFAR-10、CIFAR-100和SVHN上取得了与独立搜索基线相当或更优的准确率。

ABSTRACT

The common pipeline of training deep neural networks consists of several building blocks such as data augmentation and network architecture selection. AutoML is a research field that aims at automatically designing those parts, but most methods explore each part independently because it is more challenging to simultaneously search all the parts. In this paper, we propose a joint optimization method for data augmentation policies and network architectures to bring more automation to the design of training pipeline. The core idea of our approach is to make the whole part differentiable. The proposed method combines differentiable methods for augmentation policy search and network architecture search to jointly optimize them in the end-to-end manner. The experimental results show our method achieves competitive or superior performance to the independently searched results.

研究动机与目标

• 为解决手动设计数据增强策略和网络架构所面临的耗时与专家知识依赖问题。
• 克服现有AutoML方法在独立优化增强策略与架构时的局限性。
• 通过可微搜索实现在端到端流程中对两者进行联合优化。
• 通过在单一训练过程中共同优化增强与架构，降低管道设计中对人工专业知识的依赖。

提出的方法

• 该方法结合了Faster Auto-Augmentation（用于可微分的数据增强策略搜索）与DARTS（用于可微分的神经架构搜索）。
• 首先应用可微分的数据变换，然后将变换后的输入作为可微分NAS模块的输入。
• 整个流程被完全可微分，使得NAS损失的梯度能够反向传播通过增强策略参数。
• 搜索空间包含10个子策略，每个子策略包含从16种操作中选出的2种操作，包括几何变换和颜色变换。
• 该方法使用基于梯度的优化联合优化策略概率与架构操作。
• 通过在相同模型上同时训练两个组件，避免了对特定架构进行预选择的需要。

实验结果

研究问题

• RQ1 联合优化数据增强策略与神经架构是否能带来优于独立搜索的性能？
• RQ2 端到端可微分性是否能比顺序或独立优化更有效地实现增强与架构的协同优化？
• RQ3 在架构搜索过程中，最优增强策略如何变化？联合学习能否捕捉这种动态依赖关系？
• RQ4 该方法是否能通过消除为增强搜索预选架构的需要，减少AutoML管道设计中的人工干预？
• RQ5 联合优化是否能生成在不同架构上更具鲁棒性或泛化能力的策略？

主要发现

• 在50次搜索周期下，该方法在CIFAR-10上达到97.40% ± 0.03的准确率，优于相同设置下的基线（97.55% ± 0.30）。
• 在CIFAR-100上，该方法在50次搜索周期下达到79.02% ± 2.14的准确率，超过基线（77.96% ± 3.12）。
• 在25次搜索周期下，该方法在CIFAR-10上达到97.46% ± 0.09的准确率，略低于基线（97.29% ± 0.03），但仍具竞争力。
• 在SVHN上，该方法在50次搜索周期下达到97.92% ± 0.12的准确率，略低于基线（98.02% ± 0.03），但仍处于标准差范围内。
• 学习到的增强策略更倾向于选择颜色增强操作（如颜色、自动对比度），而非几何操作（如旋转），尤其是在45个周期后，表明策略随架构变化而自适应调整。
• 该方法表明最优增强策略依赖于架构，因为策略与架构的分布会在训练过程中同步变化。