[论文解读] Load-Balancing for Improving User Responsiveness on Multicore Embedded Systems

Geunsik Lim, Changwoo Min+1 more|arXiv (Cornell University)|Jan 20, 2021

Parallel Computing and Optimization Techniques参考文献 23被引用 9

一句话总结

本文提出了一种基于操作区的负载均衡器，用于多核嵌入式系统，通过最小化不必要的任务迁移、优先处理高重要性任务并优化每CPU利用率，减少调度延迟。通过限制激进的负载均衡并降低双重锁定开销，该方法提升了用户响应能力与缓存效率，在高负载下将平均调度延迟降低了2.3倍。

ABSTRACT

Most commercial embedded devices have been deployed with a single processor architecture. The code size and complexity of applications running on embedded devices are rapidly increasing due to the emergence of application business models such as Google Play Store and Apple App Store. As a result, a high-performance multicore CPUs have become a major trend in the embedded market as well as in the personal computer market. Due to this trend, many device manufacturers have been able to adopt more attractive user interfaces and high-performance applications for better user experiences on the multicore systems. In this paper, we describe how to improve the real-time performance by reducing the user waiting time on multicore systems that use a partitioned per-CPU run queue scheduling technique. Rather than focusing on naive load-balancing scheme for equally balanced CPU usage, our approach tries to minimize the cost of task migration by considering the importance level of running tasks and to optimize per-CPU utilization on multicore embedded systems. Consequently, our approach improves the real-time characteristics such as cache efficiency, user responsiveness, and latency. Experimental results under heavy background stress show that our approach reduces the average scheduling latency of an urgent task by 2.3 times.

研究动机与目标

• 应对由于应用复杂度增加，多核嵌入式系统对实时响应能力日益增长的需求。
• 减少SMP调度器中因激进且简单的负载均衡所导致的调度延迟。
• 最小化多核嵌入式环境中任务迁移开销、缓存失效及同步成本。
• 在不修改用户空间应用程序的前提下，提升用户响应能力与系统效率。
• 实现灵活且基于重要性的负载均衡，避免单个CPU核心过载。

提出的方法

• 提出一种基于操作区的负载均衡机制，根据利用率水平将CPU分组为不同区域。
• 基于任务重要性和每CPU负载优先级进行任务迁移，而非严格追求CPU使用率均衡。
• 通过限制在非可抢占时间段内的迁移，减少双重锁定开销，尤其针对高优先级任务。
• 采用灵活的迁移策略，即使CPU负载略有不均衡，也避免过度迁移。
• 利用现有的Linux内核机制，如CPU亲和性、CPUSETS和调度域，无需修改应用程序。
• 使用ftrace分析内核函数跟踪，验证调度延迟和迁移开销的降低。

实验结果

研究问题

• RQ1 如何在不增加CPU负载不平衡的前提下，优化多核嵌入式系统中的负载均衡以减少调度延迟？
• RQ2 任务迁移开销（尤其是双重锁定和缓存失效）在多大程度上影响实时响应能力？
• RQ3 基于区域的负载均衡方法是否能在保持高效CPU利用率的同时减少调度延迟？
• RQ4 基于重要性的任务迁移对现实世界嵌入式工作负载中用户感知响应能力有何影响？
• RQ5 在高并发嵌入式系统中，负载均衡的公平性与响应能力之间存在何种权衡？

主要发现

• 所提出的负载均衡器在高背景负载下，将紧急任务的平均调度延迟降低了2.3倍。
• 高优先级任务的调度延迟从平均72微秒降低至31微秒，降幅超过2倍。
• 该方法减少了因任务迁移期间双重锁定导致的非可抢占时间段，提升了实时特性。
• 由于任务迁移减少和更好的CPU亲和性保持，缓存效率与系统响应能力得到提升。
• 该解决方案无需修改应用程序，可轻松部署于现有嵌入式系统，集成成本极低。
• 该方法有效抑制了不必要的迁移，降低了同步开销与多核嵌入式设备的功耗。