[论文解读] Efficient Multitask Learning on Resource-Constrained Systems

Yubo Luo, Le Zhang+2 more|arXiv (Cornell University)|Feb 25, 2023

Advanced Neural Network Applications被引用 7

一句话总结

Antler 是一种新颖的系统，通过利用任务亲和性与依赖关系，在资源受限设备上构建紧凑的任务图并确定最优执行顺序，从而优化多任务推理。通过重用共享子任务并最小化上下文切换，其推理时间相比最先进方法减少 2.3X–4.6X，能耗降低 56%–78%。

ABSTRACT

We present Antler, which exploits the affinity between all pairs of tasks in a multitask inference system to construct a compact graph representation of the task set and finds an optimal order of execution of the tasks such that the end-to-end time and energy cost of inference is reduced while the accuracy remains similar to the state-of-the-art. The design of Antler is based on two observations: first, tasks running on the same platform shows affinity, which is leveraged to find a compact graph representation of the tasks that helps avoid unnecessary computations of overlapping subtasks in the task set; and second, tasks that run on the same system may have dependencies, which is leveraged to find an optimal ordering of the tasks that helps avoid unnecessary computations of the dependent tasks or the remaining portion of a task. We implement two systems: a 16-bit TI MSP430FR5994-based custom-designed ultra-low-power system, and a 32-bit ARM Cortex M4/M7-based off-the-shelf STM32H747 board. We conduct both dataset-driven experiments as well as real-world deployments with these systems. We observe that Antler's execution time and energy consumption are the lowest compared to all baseline systems and by leveraging the similarity of tasks and by reusing the intermediate results from previous task, Antler reduces the inference time by 2.3X -- 4.6X and saves 56\% -- 78\% energy, when compared to the state-of-the-art.

研究动机与目标

• 解决资源受限嵌入式系统上多任务学习带来的高推理时间和高能耗问题。
• 利用任务亲和性——即相关推理任务之间的共享子任务——以消除冗余计算。
• 建模并强制执行任务间与任务内依赖关系，避免不必要的子任务执行。
• 在保持模型准确率的前提下，最小化端到端推理时间和能耗。
• 形式化证明最优任务排序问题是 NP-完全问题，并提供基于整数规划与遗传算法的可扩展解决方案。

提出的方法

• 基于成对任务亲和性，构建多任务系统紧凑图表示，捕捉任务之间的共享结构。
• 使用切换成本函数对任务执行成本进行建模，以考虑任务间上下文切换的开销。
• 使用整数线性规划（ILP）在前驱与依赖约束下求解最优任务排序问题。
• 采用遗传算法将解决方案扩展至大规模任务集，其中暴力求解 ILP 不可行。
• 在重新排序与子任务共享后，对任务图进行微调以保持准确性。
• 在两种超低功耗平台（16 位 TI MSP430FR5994 和 32 位 ARM Cortex-M4/M7 STM32H747）上验证该方法。

实验结果

研究问题

• RQ1 能否利用多个推理任务之间的任务亲和性，在嵌入式系统上减少多任务学习中的冗余计算？
• RQ2 如何优化任务排序以最小化多任务系统中的端到端推理时间和能耗？
• RQ3 多任务学习中最优任务排序问题的计算复杂度是多少？如何高效求解？
• RQ4 遗传算法能否在尊重任务依赖关系并最小化开销的前提下，有效扩展至大规模任务集？
• RQ5 共享子任务与最优排序在不降低准确率的前提下，能在多大程度上减少推理时间与能耗？

主要发现

• 与资源受限平台上的最先进多任务学习系统相比，Antler 将推理时间减少了 2.3X 到 4.6X。
• 通过子任务重用与优化任务排序，能耗降低了 56% 到 78%。
• 形式化证明最优任务排序问题是 NP-完全问题，从而证明了使用启发式与 ILP 方法的必要性。
• 遗传算法求解器实现了接近最优的性能，并能有效扩展至更大规模任务集。
• 该系统在显著降低计算与能耗开销的同时，保持了与最先进模型相当的准确率。
• 在 MSP430 与 STM32H747 平台上的实际部署结果表明，该方法在多种工作负载下均表现出一致的性能提升。