[论文解读] An Energy-Aware Online Learning Framework for Resource Management in Heterogeneous Platforms

Sumit K. Mandal, Ganapati Bhat+3 more|arXiv (Cornell University)|Mar 20, 2020

Parallel Computing and Optimization Techniques被引用 4

一句话总结

本文提出了一种在线模仿学习（Online-IL）框架，可动态适应异构移动平台中的资源管理策略，以在维持性能的同时最小化能耗。通过利用离线训练的策略和实时的功耗-性能模型进行强监督，Online-IL能以极低的运行时开销，高效学习未知应用的最优电压/频率与核心配置策略，并实现显著的能效与性能提升。

ABSTRACT

Mobile platforms must satisfy the contradictory requirements of fast response time and minimum energy consumption as a function of dynamically changing applications. To address this need, system-on-chips (SoC) that are at the heart of these devices provide a variety of control knobs, such as the number of active cores and their voltage/frequency levels. Controlling these knobs optimally at runtime is challenging for two reasons. First, the large configuration space prohibits exhaustive solutions. Second, control policies designed offline are at best sub-optimal since many potential new applications are unknown at design-time. We address these challenges by proposing an online imitation learning approach. Our key idea is to construct an offline policy and adapt it online to new applications to optimize a given metric (e.g., energy). The proposed methodology leverages the supervision enabled by power-performance models learned at runtime. We demonstrate its effectiveness on a commercial mobile platform with 16 diverse benchmarks. Our approach successfully adapts the control policy to an unknown application after executing less than 25% of its instructions.

研究动机与目标

• 解决在工作负载未知且不断演变的异构移动片上系统（SoCs）中实现动态、节能的资源管理挑战。
• 通过实现实时运行时对新应用的快速适应，克服离线策略的局限性以及强化学习效率低下的问题。
• 在不依赖耗能的试错学习方法的前提下，降低移动平台的能耗并改善响应时间。
• 在保持新工作负载策略适应高精度的同时，最小化运行时与存储开销。
• 通过在商用移动平台上的真实世界基准测试，证明在线模仿学习的有效性。

提出的方法

• 该框架使用离线策略作为在线策略学习的初始化，基于已知的应用行为进行设置。
• 在运行时，收集工作负载元数据（如指令数、内存访问次数）以指导配置评估。
• 通过分析型功耗-性能模型提供快速且准确的监督，以评估候选配置，而无需完整执行。
• 利用该模型提供的监督反馈，通过反向传播更新神经网络策略，以优化控制决策。
• 系统以周期为单位执行在线适应，定期基于新训练样本更新模型并优化策略。
• 通过高效采样和减少反向传播更新频率（每100个周期更新一次），将运行时开销降至最低。

实验结果

研究问题

• RQ1 在线模仿学习方法能否在极低运行时开销下，有效适应未知移动应用的资源管理策略？
• RQ2 与传统调度器（如powersave、interactive）相比，Online-IL在能效和执行时间方面表现如何？
• RQ3 Online-IL在未知工作负载下，相较于离线学习方法（如DyPO）的性能优势有多大？
• RQ4 与标准强化学习相比，实时功耗-性能模型的集成如何提升学习效率？
• RQ5 在真实移动平台上，Online-IL的累计运行时与存储开销是多少？

主要发现

• 所提出的Online-IL框架在未知应用上，平均能耗比DyPO离线方法降低6.39%，执行时间提升15.24%。
• 对于Kmeans-BML并发工作负载，与powersave调度器相比，Online-IL能耗降低5%，执行时间减少25%。
• 在基准测试的平均表现中，Online-IL实现24%的更快执行速度，且能耗降低超过10%。
• 策略评估的运行时开销仅为0.06–0.12%，反向传播更新开销低于1%，训练缓冲区存储开销为18KB。
• 与强化学习相比，Online-IL在Spectral基准测试中仅需一次反向传播步骤即可学习到最优策略，而RL在八步后仍无法收敛。
• 该方法在执行未知应用指令少于25%时即成功适应，展现出快速收敛能力。