[论文解读] Efficient Architecture Search for Diverse Tasks

Jun-Hong Shen, Mikhail Khodak+1 more|arXiv (Cornell University)|Apr 15, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出 Dash，一种可微神经架构搜索方法，能够高效搜索卷积神经网络中的多样化卷积核大小与空洞率，从而在多个领域提升性能。通过利用傅里叶对角化与卷积核混合技术，Dash 的搜索速度相比基线方法最高提升 10 倍，且在十项任务中的七项上超越了当前最先进 AutoML 方法，涵盖蛋白质折叠与偏微分方程求解等任务。

ABSTRACT

While neural architecture search (NAS) has enabled automated machine learning (AutoML) for well-researched areas, its application to tasks beyond computer vision is still under-explored. As less-studied domains are precisely those where we expect AutoML to have the greatest impact, in this work we study NAS for efficiently solving diverse problems. Seeking an approach that is fast, simple, and broadly applicable, we fix a standard convolutional network (CNN) topology and propose to search for the right kernel sizes and dilations its operations should take on. This dramatically expands the model's capacity to extract features at multiple resolutions for different types of data while only requiring search over the operation space. To overcome the efficiency challenges of naive weight-sharing in this search space, we introduce DASH, a differentiable NAS algorithm that computes the mixture-of-operations using the Fourier diagonalization of convolution, achieving both a better asymptotic complexity and an up-to-10x search time speedup in practice. We evaluate DASH on ten tasks spanning a variety of application domains such as PDE solving, protein folding, and heart disease detection. DASH outperforms state-of-the-art AutoML methods in aggregate, attaining the best-known automated performance on seven tasks. Meanwhile, on six of the ten tasks, the combined search and retraining time is less than 2x slower than simply training a CNN backbone that is far less accurate.

研究动机与目标

• 解决现有 NAS 方法在计算机视觉与自然语言处理之外缺乏泛化能力的问题。
• 开发一种高效、可扩展的 NAS 方法，在生物学、医疗健康与物理科学等尚未充分探索的多样化领域中保持高精度。
• 克服在标准卷积神经网络中搜索大卷积核与高稀疏率时的计算瓶颈，同时不牺牲速度或模型效率。
• 设计一种方法，既快于现有可微 NAS，又比离散搜索空间更具表达能力，从而具备更广泛的应用潜力。
• 证明自动化架构搜索可超越人工设计模型的性能，同时保持在真实场景部署中的实用性。

提出的方法

• 固定标准卷积神经网络主干网络，搜索由不同卷积核大小（最大至 15）与空洞率（最大至 127）定义的跨尺度算子空间，实现多分辨率特征提取。
• 提出一种卷积核混合技术，将多个卷积合并为单个卷积操作，使用复合卷积核，将复杂度从 O(|K||D|) 降低至 O(1)。
• 应用卷积的傅里叶对角化，将计算成本从 O(nk) 降低至 O(n log n)，实现大卷积核的高效计算。
• 利用未空洞卷积核与稀疏矩阵的克罗内克积，在 GPU 上加速空洞卷积的计算，实现额外的速度提升。
• 采用可微搜索框架，使用共享超网络，随后进行离散架构选择与微调，确保实际部署的可行性。
• 将学习到的架构集成至现有主干网络（如 Wide ResNet、ConvNeXt、TCN）中，实现主干无关的性能增益。

实验结果

研究问题

• RQ1 可微 NAS 方法是否能高效搜索大卷积核大小与高稀疏率，从而在多样化、非视觉任务中提升性能？
• RQ2 基于傅里叶的卷积对角化是否能实现在大卷积核上的可扩展搜索，且不产生高昂的计算成本？
• RQ3 单一架构搜索方法是否能在包括医疗健康、物理与生物学在内的多个领域中，实现与人工设计模型相当或更优的性能？
• RQ4 是否可能在显著扩展搜索空间（超越标准小核 NAS 方法）的同时，仍保持高搜索效率？
• RQ5 所学习到的架构模式在多大程度上能揭示数据的内在属性或任务特定的归纳偏置？

主要发现

• Dash 在十项多样化任务中的七项上实现了当前最佳的自动化性能，包括心脏病检测、蛋白质折叠与偏微分方程求解。
• 在十项任务中的六项上，Dash 的联合搜索与微调时间不足训练标准 Wide ResNet 所需时间的两倍，展现出极高的实际效率。
• 与 DARTS 等基线方法相比，Dash 将搜索时间最多减少 10 倍，同时保持或提升准确率。
• 在 ImageNet 上，Dash 相较于 ConvNeXt 主干网络将 top-1 准确率提升了 1.4%，甚至超越了人工调优的模型。
• 该方法具备主干无关性，成功提升了 TCN 与 ConvNeXt 的性能，表明其与多种架构具有良好的兼容性。
• 聚合卷积机制实现了对大卷积核空间的高效、可微搜索，且未牺牲模型效率或准确率。