[论文解读] MANAS: Multi-Agent Neural Architecture Search

Lopes, Vasco, Fabio Maria Carlucci+7 more|arXiv (Cornell University)|Sep 3, 2019

Reinforcement Learning in Robotics参考文献 35被引用 19

一句话总结

MANAS 提出了一种用于神经架构搜索（NAS）的多智能体强化学习框架，通过将搜索空间分解给独立的智能体，每个智能体优化网络的一部分。通过信用分配机制并结合在线学习理论，MANAS 在 CIFAR-10 和 ImageNet 上实现了最先进（SOTA）的准确率，同时将内存消耗降至 DARTS 的 1/8，搜索时间减少至 70%，并实现了在大规模数据集（如 ImageNet）上的直接搜索。

ABSTRACT

The Neural Architecture Search (NAS) problem is typically formulated as a graph search problem where the goal is to learn the optimal operations over edges in order to maximise a graph-level global objective. Due to the large architecture parameter space, efficiency is a key bottleneck preventing NAS from its practical use. In this paper, we address the issue by framing NAS as a multi-agent problem where agents control a subset of the network and coordinate to reach optimal architectures. We provide two distinct lightweight implementations, with reduced memory requirements (1/8th of state-of-the-art), and performances above those of much more computationally expensive methods. Theoretically, we demonstrate vanishing regrets of the form O(sqrt(T)), with T being the total number of rounds. Finally, aware that random search is an, often ignored, effective baseline we perform additional experiments on 3 alternative datasets and 2 network configurations, and achieve favourable results in comparison.

研究动机与目标

• 为解决现有 NAS 方法在大规模设置（如 ImageNet）下计算和内存成本过高的问题。
• 通过在多个智能体之间分配控制权，克服联合架构优化中因组合爆炸导致的搜索空间膨胀问题。
• 提供一个理论基础坚实的框架，具备趋于零的遗憾（regret）保证，以实现 NAS 中探索与利用之间的高效权衡。
• 实现在最终架构上的直接搜索，无需代理模型或权重共享近似。
• 在公平的评估协议下，通过实证验证 MANAS 相较于强基线方法（包括随机搜索和随机采样）的性能。

提出的方法

• 每个智能体控制网络的一个局部子集（例如单个模块），将每个智能体的搜索空间缩减为常数规模。
• 智能体通过联合损失函数实现隐式协调，该函数支持对操作质量的信用分配，而无需显式协调。
• 信用分配通过一个学习得到的价值函数实现，用于估计每个操作对整体损失的贡献。
• 提出了两种轻量级实现方式：一种基于多臂赌博机的 UCB 探索策略，另一种基于梯度优化的连续松弛方法。
• 通过在训练损失中引入约束（如通过超参数 λ 控制推理时间），框架支持多目标搜索。
• 理论分析证明了遗憾的阶为 𝒪(√T)，确保在在线学习条件下收敛至最优架构。

实验结果

研究问题

• RQ1 多智能体框架能否有效分解 NAS 搜索空间，在降低内存和计算成本的同时保持或提升性能？
• RQ2 所提出的信用分配机制是否能在无显式通信或集中式评论家的情况下，实现智能体间的高效协调？
• RQ3 与 SOTA 方法（如 DARTS）相比，MANAS 是否能在显著减少内存和搜索时间的前提下，实现在 CIFAR-10 和 ImageNet 上的 SOTA 准确率？
• RQ4 在消除训练技巧偏差的公平评估协议下，MANAS 相较于随机搜索和随机采样表现如何？
• RQ5 通过损失函数修改，MANAS 是否可扩展至多目标 NAS（如平衡准确率与推理时间）？

主要发现

• MANAS 在 CIFAR-10 上实现了 97.3% 的 SOTA top-1 准确率，在 ImageNet 上实现了 23.5% 的 top-1 错误率，优于 DARTS 在相同评估协议下的表现。
• 该方法将内存消耗降低至 DARTS 的 1/8，同时仅使用 70% 的搜索时间，展现出显著的效率提升。
• MANAS 实现了在 ImageNet 上的直接搜索，而无需代理模型，这与 DARTS 和 ProxylessNAS 不同，后者依赖于小规模搜索。
• 在三个具有复杂度约束的附加数据集上，MANAS 保持了具有竞争力的性能，证实了其在多样化设置下的鲁棒性。
• 该框架成功平衡了准确率与推理时间：增加 λ 可使推理时间最多减少 30%，且准确率下降极小，证明了有效的多目标优化。
• 实证结果确认，随机搜索和随机采样是强大的基线方法，但即便在计算资源有限的情况下，MANAS 仍能超越它们。