[论文解读] GNAS: A Greedy Neural Architecture Search Method for Multi-Attribute Learning

Siyu Huang, Xi Li+3 more|arXiv (Cornell University)|Apr 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用 14

一句话总结

GNAS 提出一种贪婪的神经架构搜索方法，用于自动发现适用于多属性学习的最优树状结构神经网络，通过迭代的、逐层的优化并结合参数共享以降低搜索复杂度。该方法在基准数据集上实现了最先进性能，参数更少、推理更快，在40个属性中的37个上优于现有方法，准确率与效率均更优。

ABSTRACT

A key problem in deep multi-attribute learning is to effectively discover the inter-attribute correlation structures. Typically, the conventional deep multi-attribute learning approaches follow the pipeline of manually designing the network architectures based on task-specific expertise prior knowledge and careful network tunings, leading to the inflexibility for various complicated scenarios in practice. Motivated by addressing this problem, we propose an efficient greedy neural architecture search approach (GNAS) to automatically discover the optimal tree-like deep architecture for multi-attribute learning. In a greedy manner, GNAS divides the optimization of global architecture into the optimizations of individual connections step by step. By iteratively updating the local architectures, the global tree-like architecture gets converged where the bottom layers are shared across relevant attributes and the branches in top layers more encode attribute-specific features. Experiments on three benchmark multi-attribute datasets show the effectiveness and compactness of neural architectures derived by GNAS, and also demonstrate the efficiency of GNAS in searching neural architectures.

研究动机与目标

• 解决人工设计的深度架构在多属性学习中灵活性差且依赖启发式方法的问题。
• 自动发现能捕捉属性间相关性的最优树状结构神经网络架构。
• 在保持高性能的同时，降低多属性设置下神经架构搜索的计算成本。
• 实现无需元学习或额外超参数的高效、可扩展且可泛化的架构搜索。

提出的方法

• GNAS 将全局架构优化表述为一系列贪婪的、逐层的单个连接优化。
• 它将搜索过程分解为从底层开始逐层向上优化局部架构。
• 该方法在候选架构之间共享参数，以加速训练和评估。
• 它利用多属性网络的树状结构，其中共享主干层表示通用特征，分支层编码属性特定的表示。
• 搜索空间由模块之间的有效连接定义，支持任意模块类型（如2D卷积、MLP）和连接类型。
• 通过迭代优化，将最优的局部架构组合形成全局最优架构。

实验结果

研究问题

• RQ1 贪婪的、逐层的搜索策略能否有效发现适用于多属性学习的高性能树状结构神经网络？
• RQ2 与人工设计或强化学习方法相比，GNAS 是否能降低架构搜索的计算负担，同时保持或提升性能？
• RQ3 GNAS 能否自动学习反映语义相关性的有意义的属性分组？
• RQ4 在准确率、模型大小和推理速度方面，GNAS 与最先进方法相比表现如何？

主要发现

• GNAS 在单张GPU上最多两天内完成神经架构发现，显著优于最先进方法，在准确率与效率方面表现更优。
• 在CelebA数据集上，GNAS 实现最低的平均误差率，在40个属性中的37个上表现最佳，仅在'有吸引力'和'瓜子脸'等全局面部属性上出现轻微退化。
• 在LFWA上的架构可视化显示，GNAS 自然学习到语义上合理的分组，如面部毛发属性与发色类型，表明其有效建模了属性间的相关性。
• GNAS 模型比先前方法更紧凑，推理速度更快，以更少参数实现更高准确率。
• 该方法具有鲁棒性和泛化能力，只要张量形状兼容，即可处理任意神经模块和连接类型。