[論文レビュー] Efficient Multitask Learning on Resource-Constrained Systems

Yubo Luo, Le Zhang+2 more|arXiv (Cornell University)|Feb 25, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

Antlerは、タスクの類縁性と依存関係を活用してコンactなタスクグラフを構築し、最適な実行順序を決定することで、リソース制約のあるデバイスにおけるマルチタスク推論を最適化する新規なシステムである。共有サブタスクの再利用とコンテキストスイッチの最小化により、最先端の手法と比較して推論時間を2.3倍〜4.6倍短縮し、エネルギー消費量を56%〜78%削減する。

ABSTRACT

We present Antler, which exploits the affinity between all pairs of tasks in a multitask inference system to construct a compact graph representation of the task set and finds an optimal order of execution of the tasks such that the end-to-end time and energy cost of inference is reduced while the accuracy remains similar to the state-of-the-art. The design of Antler is based on two observations: first, tasks running on the same platform shows affinity, which is leveraged to find a compact graph representation of the tasks that helps avoid unnecessary computations of overlapping subtasks in the task set; and second, tasks that run on the same system may have dependencies, which is leveraged to find an optimal ordering of the tasks that helps avoid unnecessary computations of the dependent tasks or the remaining portion of a task. We implement two systems: a 16-bit TI MSP430FR5994-based custom-designed ultra-low-power system, and a 32-bit ARM Cortex M4/M7-based off-the-shelf STM32H747 board. We conduct both dataset-driven experiments as well as real-world deployments with these systems. We observe that Antler's execution time and energy consumption are the lowest compared to all baseline systems and by leveraging the similarity of tasks and by reusing the intermediate results from previous task, Antler reduces the inference time by 2.3X -- 4.6X and saves 56\% -- 78\% energy, when compared to the state-of-the-art.

研究の動機と目的

• リソース制約のある埋め込みシステムにおけるマルチタスク学習の高い推論時間とエネルギーコストを低減すること。
• 関連する推論タスク間で共有されるサブタスク（タスクの類縁性）を活用して、重複計算を排除すること。
• タスク間およびタスク内での依存関係をモデル化し、不必要なサブタスクの実行を回避すること。
• モデルの精度を維持したまま、エンドツーエンドの推論時間とエネルギー消費量を最小化すること。
• 最適なタスク順序付け問題がNP完全であることを形式的に証明し、整数計画法と遺伝的アルゴリズムを用いたスケーラブルな解決策を提供すること。

提案手法

• 2つのタスク間の類縁性に基づいて、マルチタスクシステムのコンパクトなグラフ表現を構築し、タスク間で共有される構造を捉える。
• コンテキストスイッチのオーバーヘッドを考慮したスイッチングコスト関数を用いて、タスク実行コストをモデル化する。
• 先行順序および依存関係制約の下で最適なタスク順序付け問題を解くために整数線形プログラミング（ILP）を用いる。
• ブルートフォースなILPが非効率になるような大規模なタスク集合に対応するため、遺伝的アルゴリズムを採用する。
• 再順序付けとサブタスク共有の後も精度を維持するために、タスクグラフを再訓練する。
• 16ビットTI MSP430FR5994および32ビットARM Cortex-M4/M7 STM32H747の2つの超低消費電力プラットフォーム上で、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 複数の推論タスク間のタスク類縁性を活用することで、埋め込みシステムにおけるマルチタスク学習の重複計算を削減できるか？
• RQ2 マルチタスクシステムにおけるエンドツーエンドの推論時間とエネルギー消費量を最小化するためのタスク順序付けを最適化できるか？
• RQ3 マルチタスク学習における最適タスク順序付け問題の計算量的複雑性は何か？ そして、それを効率的に解く方法は何か？
• RQ4 遺伝的アルゴリズムは、タスク依存関係を尊重しつつ、大規模なタスク集合へのスケーリングを効果的に行えるか？
• RQ5 共有サブタスクと最適な順序付けにより、精度を劣化させることなく、推論時間とエネルギー消費量をどの程度削減できるか？

主な発見

• Antlerは、リソース制約のあるプラットフォームにおける最先端のマルチタスク学習システムと比較して、推論時間を2.3倍〜4.6倍短縮した。
• サブタスクの再利用と最適なタスク順序付けにより、エネルギー消費量を56%〜78%削減した。
• 最適なタスク順序付け問題が形式的にNP完全であることが証明され、ヒューリスティックおよびILPベースの解決策の必要性が裏付けられた。
• 遺伝的アルゴリズムソルバは近似的に最適な性能を達成し、大規模なタスク集合へのスケーリングにおいても効果的に機能した。
• 計算およびエネルギーのオーバーヘッドを顕著に低減した一方で、最先端のモデルと同等の精度を維持した。
• MSP430およびSTM32H747プラットフォームにおける実世界のデプロイメントにより、多様なワークロードにおいて一貫したパフォーマンス向上が確認された。