[论文解读] DOTS: Decoupling Operation and Topology in Differentiable Architecture Search

Yuchao Gu, Wang, Li-Juan+5 more|arXiv (Cornell University)|Oct 2, 2020

Advanced Image and Video Retrieval Techniques参考文献 63被引用 5

一句话总结

DOTS 在可微神经架构搜索（NAS）中提出将操作搜索与拓扑搜索解耦，引入基于边组合权重的拓扑搜索空间，以显式建模拓扑重要性。通过将拓扑表示与操作权重分离并支持灵活的边数，DOTS 在 CIFAR100 上准确率最高提升 2.33%，在仅 0.26 GPU 天内实现 CIFAR10 的 97.51% 准确率。

ABSTRACT

Differentiable Architecture Search (DARTS) has attracted extensive attention due to its efficiency in searching for cell structures. DARTS mainly focuses on the operation search and derives the cell topology from the operation weights. However, the operation weights can not indicate the importance of cell topology and result in poor topology rating correctness. To tackle this, we propose to Decouple the Operation and Topology Search (DOTS), which decouples the topology representation from operation weights and makes an explicit topology search. DOTS is achieved by introducing a topology search space that contains combinations of candidate edges. The proposed search space directly reflects the search objective and can be easily extended to support a flexible number of edges in the searched cell. Existing gradient-based NAS methods can be incorporated into DOTS for further improvement by the topology search. Considering that some operations (e.g., Skip-Connection) can affect the topology, we propose a group operation search scheme to preserve topology-related operations for a better topology search. The experiments on CIFAR10/100 and ImageNet demonstrate that DOTS is an effective solution for differentiable NAS.

研究动机与目标

• 为解决 DARTS 中操作权重无法准确反映真实拓扑重要性、导致拓扑排序错误的问题。
• 将拓扑表示与操作权重解耦，实现显式且准确的拓扑搜索。
• 支持搜索单元中灵活、可变的边数，克服 DARTS 中固定边数的限制。
• 通过分离操作搜索与拓扑搜索过程，提升搜索效率与准确率。
• 在操作搜索过程中保留与拓扑相关的操作（如跳跃连接），以维持有效的拓扑选项。

提出的方法

• 引入由候选边两两组合构成的拓扑搜索空间，实现拓扑选择的连续松弛。
• 使用边组合权重表示拓扑重要性，直接建模边的组合分布。
• 将搜索过程分解为两个阶段：操作搜索（使用可学习的操作权重）和拓扑搜索（使用边组合权重）。
• 采用分组操作搜索策略，在操作搜索阶段保留与拓扑相关的操作（如跳跃连接）。
• 在压缩后的超网络上执行拓扑搜索，以提升效率与准确率。
• 通过移除固定边数的约束，支持灵活的边数，实现最优拓扑的动态发现。

实验结果

研究问题

• RQ1 DARTS 中的操作权重能否准确反映独立模型中不同拓扑的性能排序？
• RQ2 将拓扑表示与操作权重解耦是否能带来更准确、更可靠的拓扑选择？
• RQ3 基于边组合的拓扑搜索空间是否相比直接边权重分配能提升搜索效率与准确率？
• RQ4 在操作搜索过程中保留与拓扑相关的操作对最终拓扑质量有何影响？
• RQ5 现有基于梯度的 NAS 方法能否有效集成到解耦的操作与拓扑搜索框架中？

主要发现

• 在使用相同操作搜索结果的前提下，DOTS 相较于 DARTS 将 CIFAR100 准确率提升 2.33%（从 80.74% 提升至 83.07%）。
• 所提出的边组合权重策略在 CIFAR10 上较 PC-DARTS 提升 0.13%，表明其与拓扑搜索目标具有更好的对齐性。
• 移除固定边数约束后，DOTS 在 CIFAR100 上的准确率从 83.72% 提升至 83.92%，证明了灵活性的优势。
• 与 DARTS-Top1 相比，分组操作搜索策略在 CIFAR100 上提升准确率 0.65%，证实了保留与拓扑相关操作的重要性。
• DOTS 仅用 0.26 GPU 天即在 CIFAR10 上实现 97.51% 的 top-1 准确率，展现出极高的效率。
• 该方法与现有基于梯度的 NAS 方法兼容，可通过拓扑搜索进一步提升性能。