[論文レビュー] HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning

Hayeon Lee, Sewoong Lee+2 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、1デバイスあたり10～20回の測定のみで、未学習のハードウェアデバイス向けに高速かつ高精度なレイテンシ推定を可能にするメタラーニングベースのレイテンシ予測モデルHELPを提案する。独自のハードウェア埋め込みと内側ループの適応を用いてデバイス固有の初期パラメータを学習することで、従来手法と比較して90倍少ないサンプル数で優れた一般化性能を達成する。

ABSTRACT

For deployment, neural architecture search should be hardware-aware, in order to satisfy the device-specific constraints (e.g., memory usage, latency and energy consumption) and enhance the model efficiency. Existing methods on hardware-aware NAS collect a large number of samples (e.g., accuracy and latency) from a target device, either builds a lookup table or a latency estimator. However, such approach is impractical in real-world scenarios as there exist numerous devices with different hardware specifications, and collecting samples from such a large number of devices will require prohibitive computational and monetary cost. To overcome such limitations, we propose Hardware-adaptive Efficient Latency Predictor (HELP), which formulates the device-specific latency estimation problem as a meta-learning problem, such that we can estimate the latency of a model's performance for a given task on an unseen device with a few samples. To this end, we introduce novel hardware embeddings to embed any devices considering them as black-box functions that output latencies, and meta-learn the hardware-adaptive latency predictor in a device-dependent manner, using the hardware embeddings. We validate the proposed HELP for its latency estimation performance on unseen platforms, on which it achieves high estimation performance with as few as 10 measurement samples, outperforming all relevant baselines. We also validate end-to-end NAS frameworks using HELP against ones without it, and show that it largely reduces the total time cost of the base NAS method, in latency-constrained settings. Code is available at https://github.com/HayeonLee/HELP.

研究の動機と目的

• ハードウェアに依存するNASにおける、新しいハードウェアデバイス毎に大規模なレイテンシ測定を実施する高い計算コストと金銭的コストを低減すること。
• 従来の手法が各デバイスやタスクに対してレイテンシ予測モデルを再学習する必要があるという制限を克服すること。
• 多様なデバイスプールからのメタ知識を活用することで、未学習デバイス向けのサンプル効率の良いレイテンシ推定を可能にすること。
• 既存の高速NASフレームワークとシームレスに統合され、レイテンシ制約下での総合探索時間を大幅に短縮できること。

提案手法

• モデルが新しいデバイスに適応するための少数のレイテンシ測定のみで済ませる、少サンプル回帰問題としてレイテンシ予測を定式化する。
• 特定のデバイスを、一連の基準アーキテクチャに対するレイテンシ応答に基づいて潜在ベクトルとして符号化する、新しいハードウェア埋め込み機構を導入する。
• アンモタライズドメタラーニングと勾配ベースメタラーニングを組み合わせたメタラーニングフレームワークを設計し、デバイスに適応する初期パラメータを学習する。
• ハードウェア埋め込みをメタラーナーの入力とし、初期モデル重みを予測した後、内側ループの勾配更新により未学習デバイスへの高速適応を実現する。
• GPUやCPUを含む多様なデバイスプール上でメタラーナーを学習させ、ハードウェアの非均一性をカバーする一般化性能を向上させる。
• 従来のレイテンシ予測モデルをメタラーニングされたHELP予測モデルに置き換えることで、NASフレームワークとのエンドツーエンド統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのレイテンシ予測モデルが、測定オーバーヘッドを最小限に抑えながら、多様で未学習のハードウェアプラットフォームに一般化可能か？
• RQ2 ハードウェア埋め込みを用いたメタラーニングは、正確な予測に必要なレイテンシ測定回数をどの程度削減できるか？
• RQ3 既存のNAS手法と統合された場合、HELPはレイテンシ制約下での総合探索コストをどの程度削減できるか？
• RQ4 提案されたハードウェア埋め込みは、正確なメタ適応を実現するためのデバイス固有の特性を効果的に捉えているか？

主な発見

• HELPは、1デバイスあたり10～20回の測定のみで、未学習デバイスにおいて最先端のレイテンシ推定性能を達成し、従来手法を大きく上回る。
• HW-NAS-Benchデータセットを用いたNAS-Bench-201において、HELPはベースライン手法と比較して必要なサンプル数を最低90倍まで削減した。
• HATと組み合わせた場合、レイテンシ予測モデルの学習に必要なサンプル数を2000からわずか10に削減しながら、WMT’14 En-Deで競争力のあるBLEUスコアを維持した。
• 90msのレイテンシ制約下では、HAT+HELPは10回のサンプルでBLEUスコア27.19を達成したのに対し、ベースラインは2000回のサンプルで27.08を記録した。
• CPUプラットフォーム（Intel Xeon Gold6240）では、HAT+HELPが10回のサンプルでBLEUスコア27.52を達成し、2000回のサンプルで学習したベースライン（27.09）を上回った。
• OFA や MetaD2A といった高速NAS手法と統合されたHELPにより、新規デバイスにおいてほぼ即時のレイテンシ制約付きNASが可能になり、全体の探索コストを顕著に削減した。