[論文レビュー] Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization

David Eriksson, Pierce Chuang+8 more|arXiv (Cornell University)|Jun 22, 2021

Machine Learning and Data Classification参考文献 24被引用数 5

ひとこと要約

本論文は、スパースな軸平行部分空間（SAAS）事前分布とノイズあり期待ハイパーサイズ改善（qNEHVI）を用いた多目的ベイジアン最適化を用いて、効率的で高次元な探索が可能な遅延に配慮したニューラルアーキテクチャ探索フレームワークを提案する。本手法は、トレーニングワークフローにゼロのコード変更を加えたまま、プロダクションスケールのオンデバイスNLUモデルにおいて、p99遅延を25%以上削減するとともにモデル精度を向上させ、ランダム探索やソボル探索を上回る性能を発揮した。

ABSTRACT

When tuning the architecture and hyperparameters of large machine learning models for on-device deployment, it is desirable to understand the optimal trade-offs between on-device latency and model accuracy. In this work, we leverage recent methodological advances in Bayesian optimization over high-dimensional search spaces and multi-objective Bayesian optimization to efficiently explore these trade-offs for a production-scale on-device natural language understanding model at Facebook.

研究の動機と目的

• モバイルデプロイメントを想定したニューラルアーキテクチャ探索において、モデル精度とオンデバイス遅延のトレードオフを効率的に探索する課題に対処すること。
• 既存のトレーニングパイプラインにコード変更を加えずに利用可能なNAS手法を開発し、大規模プロダクショントレーニングインfraに統合可能であることを実現すること。
• ベイジアン最適化を用いて、精度と遅延という複数の競合する目的を、高次元かつサンプル効率的に最適化すること。
• Facebookにおける実世界のプロダクションスケールのオンデバイス自然言語理解（NLU）モデルを対象として、本手法の有効性を実証すること。

提案手法

• 高次元探索空間（24パラメータ）を、一般化とスパarsityを向上させるために、SAAS事前分布を用いた完全ベイジアン推論フレームワークを用いた多目的ベイジアン最適化（BO）を活用する。
• ガウスプロセス（GP）ハイパーパramータのマルコフチェーンモンテカルロ統合を用いて、ノイズありでかつ並列に最適化が可能となるqNEHVI獲得関数を採用する。
• 32個の初期設計点にスクラムブルド・ソボル系列を用い、240回の評価予算内で16の構成を非同期に並列に評価することで、サンプル効率を最大化する。
• SAAS-GPモデルにおける事後分布推論に、No-U-Turn Sampler（NUTS）を適用し、自動的関連性決定と高次元設定におけるロバストネスを実現する。
• 深層畳み込みカーネルサイズ、埋め込みおよびFFN次元、アテンションヘッド数を含む、24次元の探索空間としてモデルアーキテクチャとハイパーパramータを符号化する。
• 基準モデル（精度とp99遅延）を基準に目的関数を定義し、探索空間をバウンディングし、意味のあるハイパーサイズ改善を可能にするために、基準点を(1,1)に設定する。

実験結果

リサーチクエスチョン

• RQ1 SAAS事前分布を用いた多目的ベイジアン最適化は、実世界のオンデバイスNLUモデルにおけるニューラルアーキテクチャ探索の高次元探索空間を効果的に探索できるか？
• RQ2 本手法は、精度と遅延のトレードオフを改善する観点で、ランダム探索およびソボルベース探索と比較してどのように優れているか？
• RQ3 NUTSとSAAS事前分布を用いた完全ベイジアン推論は、高次元BOにおけるモデルフィットと最適化安定性をどの程度向上させるか？
• RQ4 ハイパーパramータのマルコフチェーンモンテカルロ統合を用いたqNEHVI獲得関数は、ノイズのある観測下でも効率的で並列的かつロバストな最適化を可能にするか？

主な発見

• 提案手法のBOは、オンデバイスp99遅延を25%以上削減するとともに、モデル精度を向上させ、効果的なトレードオフ探索を実証した。
• ソボル探索では基準点を上回る構成がたった2つにとどまったが、BO手法は精度-遅延フロンティア全体にわたり複数のパレート最適アーキテクチャを効果的に同定した。
• SAAS事前分布は、標準的なMAP推定GPモデルと比較して、LOO交差検証で顕著に優れたフィットとロバストネスを示し、高次元設定下でも優れた性能を発揮した。
• qNEHVIと完全ベイジアン推論の統合により、ノイズのある遅延測定下でも安定的で並列的かつサンプル効率的な最適化が実現された。
• 既存のトレーニングパイプラインにゼロのコード変更が要求されたため、Facebookの大規模プロダクショントレーニングインfraにスムーズに統合可能であった。