[論文レビュー] Transfer Learning for Performance Modeling of Deep Neural Network Systems

Shahriar Iqbal, Lars Kotthoff+1 more|arXiv (Cornell University)|Apr 4, 2019

EEG and Brain-Computer Interfaces被引用数 5

ひとこと要約

本稿では、事前学習済みモデルからの知識を再利用することで、新しい環境における深層ニューラルネットワーク（DNN）システムのパフォーマンスモデルを効率的に構築するためのガイド付きサンプリング（GS）トランスファーラーニングを提案する。GSは、直接的モデル移行や線形／非線形モデルシフトよりも、構成空間のたった2.44％に過ぎない範囲での学習で、予測精度において19.76–23.47％の向上を達成し、最小限の微調整で高速かつ高精度なパフォーマンスモデリングを可能にする。

ABSTRACT

Modern deep neural network (DNN) systems are highly configurable with large a number of options that significantly affect their non-functional behavior, for example inference time and energy consumption. Performance models allow to understand and predict the effects of such configuration options on system behavior, but are costly to build because of large configuration spaces. Performance models from one environment cannot be transferred directly to another; usually models are rebuilt from scratch for different environments, for example different hardware. Recently, transfer learning methods have been applied to reuse knowledge from performance models trained in one environment in another. In this paper, we perform an empirical study to understand the effectiveness of different transfer learning strategies for building performance models of DNN systems. Our results show that transferring information on the most influential configuration options and their interactions is an effective way of reducing the cost to build performance models in new environments.

研究の動機と目的

• 大規模な構成空間のため、新しい環境におけるDNNシステムのパフォーマンスモデル構築にかかるコストの高さに対処すること。
• 環境の変更（例：ハードウェア、ワークロード）に伴い、正確なパフォーマンスモデルを構築するために必要な作業を、トランスファーラーニングがどの程度軽減できるかを調査すること。
• DNNパフォーマンスモデリングにおいて、ガイド付きサンプリング、直接的モデル移行、線形／非線形モデルシフトといった複数のトランスファーラーニング戦略を評価・比較すること。
• DNNシステムにおける推論時間およびエネルギー消費量を予測するための、最も効果的なトランスファーストラテジーを同定すること。

提案手法

• 16のDNNシステム環境において、ガイド付きサンプリング（GS）、直接的モデル移行（DM）、線形モデルシフト（LMS）、非線形モデルシフト（NMLS）の4つのトランスファーラーニング戦略を実験的に評価する。
• 2つのハードウェアプラットフォーム、2つのモデル、4つの画像サイズを含む16の環境で、実験データからパフォーマンスモデルを構築するために回帰木（RT）とニューラルネットワーク（NN）を用いる。
• 影響力のある構成オプションおよび相互作用（CPUステータス、周波数；GPU周波数；メモリコントローラー周波数）を特定するために、ステップワイズ回帰（前向き選択および後向き除外）を適用する。
• 評価コストを低減するために、高影響度の構成相互作用に焦点を当て、小規模で代表的なサンプル（構成空間の2.44％）を用いてトランスファーモデルを学習する。
• 平均絶対誤差（Err）を指標として性能を測定し、GSは最も影響力のある構成項に向けたサンプリングをガイドする。
• ソース環境として、InceptionV3と600×600の画像を搭載したJetson TX2を採用し、15のターゲット環境へ移行する。

実験結果

リサーチクエスチョン

• RQ1 ガイド付きサンプリング（GS）トランスファーラーニングは、直接的モデル移行（DM）、線形モデルシフト（LMS）、非線形モデルシフト（NMLS）と比較して、新しい環境におけるDNNシステムパフォーマンス予測にどの程度効果的か？
• RQ2 推論時間およびエネルギー消費量の両方について、GSを用いることで他のトランスファーラーニング手法と比較して予測誤差はどの程度低減されるか？
• RQ3 完全に新規に構築されたモデルと同等の精度に到達するには、構成空間のどの程度の割合が必要か？
• RQ4 ハードウェアの変更とワークロードの変更（例：画像サイズ）の両方において、トランスファーラーニングの有効性に差異は生じるか？
• RQ5 パフォーマンスモデルの構築にかかる計算コストを削減しつつ、高い精度を維持できるか？

主な発見

• ガイド付きサンプリング（GS）は、他のすべてのトランスファーラーニング手法を上回り、回帰木（RT）を用いる場合、推論時間の予測誤差を19.76％、エネルギー消費量を8.33％低減する。
• ニューラルネットワーク（NN）を用いる場合、GSは、次に優れた手法（NMLS）と比較して、推論時間の誤差を23.47％、エネルギー消費量の誤差を12.70％低減する。
• GSは、完全な構成空間の2.44％（約2.48時間の計算）を用いるだけで、新規に構築されたモデルと同等のパフォーマンスモデルの精度を達成する。
• ニューラルネットワークを用いた場合、推論時間の誤差低減は、DMと比較して28.09％、NMLSと比較して23.47％顕著に改善される。
• エネルギー消費量の観点では、ニューラルネットワークを用いた場合、GSはDMと比較して誤差を42.85％低減し、NMLSと比較して12.70％低減する。
• 元のモデルを適応なしに再利用するDMと比較して、わずか0.15％の元の学習作業量で、GSは著しく高い精度を達成する。