[論文レビュー] Adaptive Classification for Prediction Under a Budget

Nan Feng, Venkatesh Saligrama|arXiv (Cornell University)|May 26, 2017

Data Stream Mining Techniques被引用数 28

ひとこと要約

本稿では、高精度・高コストなモデルを低コストの予測モデルとゲーティング関数で近似することで、テスト時の予測コストを削減するボトムアップ的で適応的な分類手法を提案する。共有特徴を用いた経験的リスク最小化による精度とコスト制約の共同最適化により、精度を損なわずに平均で最大63%のコスト削減を達成し、ベンチマークデータセットにおいて最先端のトップダウンおよびボトムアップ手法を上回る性能を発揮する。

ABSTRACT

We propose a novel adaptive approximation approach for test-time resource-constrained prediction. Given an input instance at test-time, a gating function identifies a prediction model for the input among a collection of models. Our objective is to minimize overall average cost without sacrificing accuracy. We learn gating and prediction models on fully labeled training data by means of a bottom-up strategy. Our novel bottom-up method first trains a high-accuracy complex model. Then a low-complexity gating and prediction model are subsequently learned to adaptively approximate the high-accuracy model in regions where low-cost models are capable of making highly accurate predictions. We pose an empirical loss minimization problem with cost constraints to jointly train gating and prediction models. On a number of benchmark datasets our method outperforms state-of-the-art achieving higher accuracy for the same cost.

研究の動機と目的

• 特徴抽出や計算にコストがかかるリソース制約下の機械学習応用における予測を扱う。
• 予算制約下でも高い精度を維持しつつ、全体の予測コストを最小化する手法を開発する。
• トップダウン特徴選択に内在する組み合わせ的困難を克服するため、ボトムアップ的近似戦略を提案する。
• 再訓練を一切行わずに、高コストなレガシーシステムに対してもコスト削減を可能にする。
• 容易な入力領域において、高精度モデルを適応的に近似する低コストのゲーティング関数と予測モデルを同時に学習する。

提案手法

• まず、任意の標準的手法を用いて完全にラベル付けされた訓練データ上で高精度モデル（HPC）を訓練する。
• 次に、精度を維持しつつ低コストで実現可能な領域において、HPCモデルを適応的に近似する低コストのゲーティング関数と低予測コスト（LPC）モデルを学習する。
• 共同学習プロセスは、マージンに基づく目的関数を用いたコスト制約付きの経験的リスク最小化問題として定式化される。
• 交互最小化スキームが採用され、各ステップは確率空間へのIプロキシミティーやMプロキシミティーリングに相当し、収束が保証される。
• ゲーティング関数とLPCモデル間で共有特徴と意思決定アーキテクチャを favour することで、全体のコストを削減する。
• 本手法は複数段階にわたり再帰的に適用可能であり、精度-コストトレードオフを精緻化できるが、単一段階でも最先端の性能を上回る。

実験結果

リサーチクエスチョン

• RQ1 コスト制約下において、トップダウン特徴選択と比較してボトムアップ的近似戦略が、精度-コストトレードオフの面で優れているかどうか。
• RQ2 ゲーティング関数と低コスト予測モデルをどのように共同で学習すれば、高い精度を維持しつつテスト時のコストを最小化できるか。
• RQ3 容易な入力領域において、高精度モデルを低コストモデルでどの程度近似できるか、かつ全体の性能を損なわないか。
• RQ4 ゲーティング関数と予測モデル間で共有特徴を使用することで、より良いコスト削減と一般化性能が得られるか。
• RQ5 本手法は、再訓練を一切行わず、高コストな既存のレガシーシステムに対しても効果的に適用可能か。

主な発見

• MiniBooNEでは平均特徴コストを63%、Forest Covertypeでは32%、Yahoo! Rankでは58%、CIFAR10では12%、Lettersでは31%削減し、精度は1%以内の誤差で維持した。
• すべてのベンチマークデータセットにおいて、GreedyMiser や BudgetPrune などの最先端手法を精度-コスト性能面で上回った。
• Forest Covertypeデータセットでは、GreedyMiserの精度がコスト658で0.138にピークに達するが、Adapt-Gbrtはそれよりも高い精度を維持した。
• 特にRBF-SVM やランダムフォレストといった強力な非線形モデルを近似する際、Adapt-Gbrt は Adapt-Lin より顕著に優れた性能を示した。
• 複数のデータセット全体で平均40%のコスト削減を達成し、元の高精度モデルと比較してテスト精度は1%以内の誤差に留めた。
• 本手法の再帰的適用により、精度-コストトレードオフがさらに精緻化されるが、単一段階でもすでに最先端の性能を上回った。