[論文レビュー] FlexiBO: Cost-Aware Multi-Objective Optimization of Deep Neural Networks.

Shahriar Iqbal, Jianhai Su+2 more|arXiv (Cornell University)|Jan 18, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 43被引用数 15

ひとこと要約

FlexiBO は、評価コストに基づいて目的を優先順位付けするコストに配慮したベイズ最適化フレームワークであり、コスト重み付きパレート超体積の獲得関数を用いる。7つのDNNアーキテクチャを通じて、最先端の手法と比較して真のパレートフロントへの寄与が28.44%向上し、多様性が25.64%向上する。

ABSTRACT

One of the key challenges in designing machine learning systems is to determine the right balance amongst several objectives, which also oftentimes are incommensurable and conflicting. For example, when designing deep neural networks (DNNs), one often has to trade-off between multiple objectives, such as accuracy, energy consumption, and inference time. Typically, there is no single configuration that performs equally well for all objectives. Consequently, one is interested in identifying Pareto-optimal designs. Although different multi-objective optimization algorithms have been developed to identify Pareto-optimal configurations, state-of-the-art multi-objective optimization methods do not consider the different evaluation costs attending the objectives under consideration. This is particularly important for optimizing DNNs: the cost arising on account of assessing the accuracy of DNNs is orders of magnitude higher than that of measuring the energy consumption of pre-trained DNNs. We propose FlexiBO, a flexible Bayesian optimization method, to address this issue. We formulate a new acquisition function based on the improvement of the Pareto hyper-volume weighted by the measurement cost of each objective. Our acquisition function selects the next sample and objective that provides maximum information gain per unit of cost. We evaluated FlexiBO on 7 state-of-the-art DNNs for object detection, natural language processing, and speech recognition. Our results indicate that, when compared to other state-of-the-art methods across the 7 architectures we tested, the Pareto front obtained using FlexiBO has, on average, a 28.44% higher contribution to the true Pareto front and achieves 25.64% better diversity.

研究の動機と目的

• DNN最適化における相反する目的間の評価コストの不均衡に対処する。例として、高コストな正確性と低コストなエネルギー消費量の対比。
• 探索中に目的の測定コストのばらつきを考慮する多目的最適化フレームワークを開発する。
• コスト制約下でのパレート最適なDNN設定の品質と多様性を向上させる。
• 高情報量で低コストな評価を優先することで、パレートフロントの効率的な探索を可能にする。

提案手法

• 各目的の評価コストの逆数で重み付けされたパレート超体積の改善を考慮する新しい獲得関数を提案する。
• 単位コストあたりの期待情報量の増加が最大となる次回の評価点と目的を選択する。
• 目的固有の測定コストをハイパーパrameterとしてモデル化することで、ベイズ最適化にコストへの配慮を統合する。
• ガウス過程を用いて、複数の目的におけるDNN設定のパフォーマンスをモデル化する。
• 全評価コストを最小限に抑えながら、探索と活用のバランスを取るため、獲得関数を最適化する。
• 事前学習済みモデルを用いて高速な評価が可能な実世界のDNN（物体検出、NLP、音声認識）にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 目的の評価コストが著しく異なる場合、多目的DNN最適化はどのようにしてより効率的に行えるか？
• RQ2 コストに配慮した獲得関数は、パレート最適なDNN設定の品質と多様性を向上させることができるか？
• RQ3 測定コストでパレート改善を重み付けすることで、収束性とパフォーマンスにどのような影響を与えるか？
• RQ4 パレートフロントの品質と多様性の観点から、FlexiBOは最先端の多目的最適化手法と比べてどのように差をつけるか？
• RQ5 コストに配慮したベイズ最適化により、高価な正確性の評価回数を減らすことができるか、かつソリューションの品質を損なわないか？

主な発見

• FlexiBO は、7つのDNNアーキテクチャを通じて、最先端の手法と比較して真のパレートフロントへの寄与が28.44%向上する。
• この手法は、ベースライン手法と比較してパレートフロントの多様性を25.64%向上させる。
• コスト重み付き獲得関数により、低コストで高情報量の評価を優先することで、より効率的な探索が可能になる。
• FlexiBO は、正確性の高価な評価に依存するのを減らしながら、ソリューションの品質を維持または向上させる。
• 物体検出、NLP、音声認識を含む多様なDNNタスクにおいて、一貫した性能向上を示す。
• 評価コストを獲得関数設計に組み込むことで、優れたパレートフロント近似が達成されることを確認した。