[論文レビュー] An Energy-Aware Online Learning Framework for Resource Management in Heterogeneous Platforms

Sumit K. Mandal, Ganapati Bhat+3 more|arXiv (Cornell University)|Mar 20, 2020

Parallel Computing and Optimization Techniques被引用数 4

ひとこと要約

本論文は、未知のワークロードに対して最小限のランタイムオーヘッドで顕著なエネルギー消費削減とパフォーマンス向上を実現する、オンライン強化学習（Online-IL）フレームワークを提案する。非同期学習済みポリシーとリアルタイムのパワーパフォーマンスモデルを活用することで、強力な教師信号を得て、未学習のアプリケーションに対しても、最適な電圧/周波数およびコア構成ポリシーを効率的に学習する。

ABSTRACT

Mobile platforms must satisfy the contradictory requirements of fast response time and minimum energy consumption as a function of dynamically changing applications. To address this need, system-on-chips (SoC) that are at the heart of these devices provide a variety of control knobs, such as the number of active cores and their voltage/frequency levels. Controlling these knobs optimally at runtime is challenging for two reasons. First, the large configuration space prohibits exhaustive solutions. Second, control policies designed offline are at best sub-optimal since many potential new applications are unknown at design-time. We address these challenges by proposing an online imitation learning approach. Our key idea is to construct an offline policy and adapt it online to new applications to optimize a given metric (e.g., energy). The proposed methodology leverages the supervision enabled by power-performance models learned at runtime. We demonstrate its effectiveness on a commercial mobile platform with 16 diverse benchmarks. Our approach successfully adapts the control policy to an unknown application after executing less than 25% of its instructions.

研究の動機と目的

• 未知で変化するワークロードを伴う異種モバイルSoCにおける動的かつエネルギー効率の良いリソース管理の課題に対処すること。
• オフラインポリシーの限界や非効率な強化学習の課題を克服し、実行時における新規アプリケーションへの迅速な適応を可能にすること。
• パフォーマンスを犠牲にせず、試行錯誤に高コストな学習に依存せずに、エネルギー消費を低減し応答時間を改善すること。
• ポリシー適応の高精度を維持しながら、ランタイムおよびストレージオーバーヘッドを最小限に抑えること。
• 商業用モバイルプラットフォーム上で実世界のベンチマークを用いて、オンライン模倣学習の有効性を実証すること。

提案手法

• フレームワークは、既知のアプリケーション動作に基づいて初期化されたオフラインポリシーを、オンラインポリシー学習の起動に用いる。
• 実行時、ワークロードメタデータ（例：命令数、メモリアクセス回数）が収集され、構成評価を支援する。
• 解析的パワーパフォーマンスモデルが、完全実行を伴わずに、高速かつ正確に候補となる構成を評価するための教師信号を提供する。
• このモデルによる教師信号を用いて、バックプロパゲーションによりニューラルネットワークポリシーを更新し、制御意思決定を最適化する。
• システムはエポック単位でオンライン適応を実行し、新しいトレーニング例に基づいて定期的にモデルを更新し、ポリシーを改善する。
• 効率的なサンプリングと100エポックごとのまれなバックプロパゲーション更新により、ランタイムオーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 オンライン模倣学習アプローチは、未知のモバイルアプリケーションに対して最小限のランタイムオーバーヘッドでリソース管理ポリシーを効果的に適応できるか？
• RQ2 Online-ILは、従来のガバナー（例：powersave, interactive）と比較して、エネルギー効率と実行時間の両面で優れているか？
• RQ3 Online-ILは、未知のワークロードに対して、DyPOのようなオフライン学習手法をどれほど上回るか？
• RQ4 リアルタイムのパワーパフォーマンスモデルを統合することで、標準的な強化学習と比較して学習効率がどの程度向上するか？
• RQ5 実世界のモバイルプラットフォーム上でのOnline-ILの累積的なランタイムおよびストレージオーバーヘッドはどの程度か？

主な発見

• 提案されたOnline-ILフレームワークは、未知のアプリケーションに対してDyPOオフライン手法比で平均6.39%のエネルギー消費削減と15.24%の実行時間短縮を達成した。
• Kmeans-BML同時実行ワークロードにおいて、Online-ILはpowersaveガバナー比でエネルギー消費を5%削減し、実行時間を25%短縮した。
• ベンチマーク全体にわたって、Online-ILはpowersaveガバナー比で平均24%の高速化と10%以上のエネルギー消費削減を達成した。
• ポリシー評価では0.06–0.12%のランタイムオーバーヘッド、バックプロパゲーション更新では1%未満のオーバーヘッドを示し、トレーニングバッファのストレージオーバーヘッドは18KBであった。
• 強化学習と比較して、Online-ILはSpectralベンチマークで最適ポリシー学習にたった1回のバックプロパゲーションステップで到達したが、RLは8ステップ経過しても収束しなかった。
• 未知のアプリケーションに対して、その命令の25%未満の実行後にもかかわらず、迅速な収束を示し、成功裏に適応した。