[論文レビュー] Dynamic Model Selection for Prediction Under a Budget

Nan Feng, Venkatesh Saligrama|arXiv (Cornell University)|Apr 25, 2017

Machine Learning and Data Classification参考文献 14被引用数 4

ひとこと要約

本稿では、入力の難易度に応じて低コストモデルまたは高精度モデルに入力をルーティングするゲーミング関数を学習する、ボトムアップな動的モデル選択手法を提案する。この手法により、精度を損なわずに総合的なコストを最小化できる。まず高精度モデルを訓練した後、容易な領域においてその精度を近似する低複雑性のゲーミング関数および予測モデルを学習することで、ベンチマークデータセット上で最先端のコスト-精度トレードオフを達成する。

ABSTRACT

We present a dynamic model selection approach for resource-constrained prediction. Given an input instance at test-time, a gating function identifies a prediction model for the input among a collection of models. Our objective is to minimize overall average cost without sacrificing accuracy. We learn gating and prediction models on fully labeled training data by means of a bottom-up strategy. Our novel bottom-up method is a recursive scheme whereby a high-accuracy complex model is first trained. Then a low-complexity gating and prediction model are subsequently learnt to adaptively approximate the high-accuracy model in regions where low-cost models are capable of making highly accurate predictions. We pose an empirical loss minimization problem with cost constraints to jointly train gating and prediction models. On a number of benchmark datasets our method outperforms state-of-the-art achieving higher accuracy for the same cost.

研究の動機と目的

• 医療、監視、モバイルアナリティクスなど、特徴抽出、センサー使用、リモート計算に費用がかかる機械学習アプリケーションにおいて、テスト時の予測コストを低減すること。
• 入力の複雑さに応じて動的モデル選択を行うことで、総合コストを最小化しながら高い予測精度を維持すること。
• 低コストモデルから始めて段階的に特徴を追加するトップダウン的手法の限界を克服し、高精度を保持できるようにすること。
• 学習されたゲーミング関数を介して困難な入力を適応的に高精度のレガシーモデルにオフロードすることで、高精度モデルのコスト効率の良い展開を可能にすること。
• ゲーミング関数と予測モデルを同時に最適化する再帰的でボトムアップな戦略を用い、一般化性能とコスト効率を向上させること。

提案手法

• ボトムアップな再帰的訓練戦略：まず高精度・高コストのモデル（例：500本のXGBoostツリー）を訓練し、その後、精度が依然として十分な領域においてその近似を行う低複雑性モデルを学習する。
• コスト制約付きの共同経験的リスク最小化。ゲーミング関数と予測関数の両方に別々に凸であるマージンベースの目的関数を用いる。
• 確率的射影（I-射影／M-射影）を用いた交互最小化とロジスティック損失を組み合わせ、収束を保証する。
• ゲーミング関数が低コスト予測モデルとツリー構造を共有することで、冗長性とコストを低減し、共有された特徴計算を可能にする。
• コスト-精度トレードオフの再帰的最適化を可能とするが、単一段階でも最先端の手法を上回る性能を示す。
• ローカル-リモートシステムでは、軽量モデル $f_1$ とゲーミング関数 $g$ を学習し、リモートモデルの呼び出し回数を最小化しながら、ターゲット精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 高精度モデルを低コストモデルで近似するボトムアップ的手法は、トップダウンまたは単独の低コストモデルと比較して、より優れたコスト-精度トレードオフを達成できるか？
• RQ2 コスト制約下でゲーミング関数と予測モデルを共同最適化することで、全体の予測コストを最小化しながら精度を維持できるか？
• RQ3 高精度モデルから始める再帰的でボトムアップな訓練戦略は、グリーディーやプルーニングベースの代替手法と比較して、より優れた一般化性能とコスト効率をもたらすか？
• RQ4 ローカル-リモートシステムにおいて、学習されたゲーミング関数を備えた軽量モデルは、顕著な精度損失なしにリモート計算コストを削減できるか？
• RQ5 提案手法は、GreedyMiser や BudgetPrune などの最先端手法と比較して、多様なデータセットおよびコスト予算においてどのように性能を発揮するか？

主な発見

• MiniBooNE および Forest Covertype データセットにおいて、特徴コストが 40–80 の範囲で、DynaMod-Gbrt は BudgetPrune や GreedyMiser よりも顕著に低い KL 発散（高い精度）を達成した。
• Scene 15 データセットでは、DynaMod-Lstsq がリモートシステムに送信するテスト例を 43% に抑えた。これは、信頼度ベース（49%）およびグリーディー法（52%）を上回った。
• CIFAR-10 では、DynaMod-Lstsq がリモート通信をテスト例の 43% にまで削減した。信頼度ベース（49%）およびグリーディー法（52%）と比較して、高い精度を維持した。
• ローカル-リモート設定では、MiniBooNE において DynaMod-Lstsq がリモート通信をテスト例の 15% にまで削減し、94% の精度を維持した。信頼度ベース（18%）およびグリーディー法（18%）を上回った。
• 最先端手法と比較して、優れたコスト-精度パフォーマンスを達成した。DynaMod-Gbrt は、複数のベンチマークでトップダウン（GreedyMiser）およびボトムアップ（BudgetPrune）のベースラインを上回った。
• 単一段階の適用でも、先行研究の再帰的最適化を上回る性能を示し、ボトムアップ戦略の有効性を実証した。