[论文解读] Apollo: Transferable Architecture Exploration

Amir Yazdanbakhsh, Christof Angermueller+8 more|arXiv (Cornell University)|Feb 2, 2021

Advanced Neural Network Applications参考文献 41被引用 13

一句话总结

Apollo 是一个可迁移的架构探索框架，采用黑箱优化方法，在多样化的约束条件下实现样本高效的自定义神经网络加速器设计。它仅使用搜索空间的约 0.0004% 即可实现高达 24.6% 的加速，并通过跨不同设计约束的迁移学习将优化效率提升最高达 25%。

ABSTRACT

The looming end of Moore's Law and ascending use of deep learning drives the design of custom accelerators that are optimized for specific neural architectures. Architecture exploration for such accelerators forms a challenging constrained optimization problem over a complex, high-dimensional, and structured input space with a costly to evaluate objective function. Existing approaches for accelerator design are sample-inefficient and do not transfer knowledge between related optimizations tasks with different design constraints, such as area and/or latency budget, or neural architecture configurations. In this work, we propose a transferable architecture exploration framework, dubbed Apollo, that leverages recent advances in black-box function optimization for sample-efficient accelerator design. We use this framework to optimize accelerator configurations of a diverse set of neural architectures with alternative design constraints. We show that our framework finds high reward design configurations (up to 24.6% speedup) more sample-efficiently than a baseline black-box optimization approach. We further show that by transferring knowledge between target architectures with different design constraints, Apollo is able to find optimal configurations faster and often with better objective value (up to 25% improvements). This encouraging outcome portrays a promising path forward to facilitate generating higher quality accelerators.

研究动机与目标

• 解决在昂贵、高维、受约束的搜索空间下，加速器架构探索中存在的样本低效与不可迁移问题。
• 开发一个通用框架，支持神经网络加速器设计的多样化优化策略。
• 在具有不同设计约束（如面积、延迟）的架构探索任务之间实现迁移学习，以提升样本效率与优化质量。
• 证明可迁移优化可在减少昂贵硬件评估次数的同时，实现优于独立优化的性能。
• 通过可迁移的设计探索，为整个计算堆栈（包括调度与映射）的协同优化奠定基础。

提出的方法

• 将加速器架构探索建模为一个受约束的黑箱优化问题，目标是在面积与延迟约束下最小化延迟或运行时间。
• 实现一个可配置的端到端框架 Apollo，支持多种优化策略，包括随机搜索、贝叶斯优化、进化算法和集成方法。
• 使用一个高度参数化的自研边缘加速器作为搜索空间定义基础，该加速器包含二维处理元素阵列、多条计算流水线及专用寄存器文件。
• 通过利用先前解决过的、具有不同约束的任务的知识，初始化新任务的优化过程，实现更快收敛。
• 采用代理建模与概率推理技术，指导在高维、结构化且评估成本高昂的设计空间中的搜索。
• 将硬件仿真作为目标函数评估器，通过在生成试验时执行可行性检查来强制实施约束。

实验结果

研究问题

• RQ1 黑箱优化策略能否显著减少找到高性能加速器配置所需的硬件评估次数？
• RQ2 在具有不同设计约束（如面积或延迟预算）的架构探索任务之间进行迁移学习，如何影响优化效率与解决方案质量？
• RQ3 在加速器设计中，随机搜索、贝叶斯优化、进化算法或集成方法中，哪种优化策略在样本效率与性能之间取得最佳平衡？
• RQ4 迁移学习在多大程度上可减少在多样化神经网络工作负载与约束下发现最优配置所需的评估次数？
• RQ5 不同神经网络架构（如 MobileNet、目标检测、语义分割、OCR 模型）如何影响可迁移架构探索的有效性？

主要发现

• Apollo 仅通过约 2,000 次硬件评估（相当于总搜索空间的约 0.0004%）即可实现高达 24.6% 的加速器性能提升。
• 进化算法与基于种群的黑箱优化策略优于基线随机搜索，在极少评估次数下即可获得最高奖励的配置。
• 在具有不同设计约束的架构探索任务之间进行迁移学习，相比独立优化，可将优化结果提升最高达 25%。
• 迁移学习可减少所需硬件评估次数，加速收敛至最优配置，尤其在更严格的约束条件下效果更显著。
• 该框架能够有效探索多样化且复杂的加速器配置，其中进化算法生成了更多样化且可能被忽略的设计。
• Apollo 表明，在相关优化任务之间进行知识迁移，在真实、高成本评估环境下，能显著缩短设计周期并提升加速器质量。