[論文レビュー] The Greedy Miser: Learning under Test-time Budgets

Zhixiang Xu, Kilian Q. Weinberger+1 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Data Classification参考文献 14被引用数 80

ひとこと要約

この論文では、特徴抽出コストを損失関数の一部としてモデル化することで、訓練中にテスト時の計算コストを明示的に最適化する、グリーディでコストに配慮した学習アルゴリズムを提案する。非連続なグローバル目的関数を連続な代替損失関数に緩和することで、勾配ブースティングを用いた段階的回帰が可能となり、制約なしモデルと同等の精度を達成しながら、テスト時の計算コストを10倍に削減する。

ABSTRACT

As machine learning algorithms increasingly enter real-world settings, there is rising interest in controlling the cpu-cost during test-time. In industry, computational resources must be budgeted and costs must be strictly accounted for. At its very core, this problem is inherently a tradeoff between accuracy and test-time computation. Test-time computation consists of two components: 1. the actual running time of the algorithm; 2. the time required for feature extraction. The latter can vary drastically if the feature set is diverse. In this abstract, we propose a novel algorithm that explicitly considers the feature extraction cost during training. We first state the (non-continuous) global objective, which explicitly trades off feature cost and accuracy, and then relax it into a continuous loss function. Subsequently, we derive an update rule that shows the resulting loss lends itself naturally to greedy optimization with stage-wise regression [4]. The resulting learning algorithm is much simpler than any prior work, yet leads to superior test-time performance. Its accuracy matches that of the unconstrained baseline (with unlimited resources) while achieving an order of magnitude reduction of test-time cost. Cost-sensitive learning. We use gradient-boosting [4] to learn a classifier H(x) = ∑T t=1 βtht(x) to minimize some loss ℓ(H). Here, ht ∈ H where H is the set of all possible regression trees [1] of some limited

研究の動機と目的

• CPUリソースが厳密に予算化されている実世界の機械学習デプロイメントにおける計算コスト制御の増大するニーズに対処すること。
• 通常の学習フレームワークでしばしば無視される、テスト時の特徴抽出コストと推論時間の組み合わせコストをモデル化し最適化すること。
• 特徴抽出コストとモデルの精度の間のトレードオフを、微分可能で連続的な方法で明示的に取り扱う訓練手順を開発すること。
• 制約なしモデルの性能に匹敵するが、テスト時のリソース使用量を大幅に削減する、効率的でグリーディな最適化を可能にすること。
• 勾配ブースティングを用いた段階的回帰を活用することで、コスト感受性学習を単純化し、テスト時の効率を直接最適化すること。

提案手法

• この手法は、モデルの精度と特徴抽出コストの両方を同時に最適化する非連続なグローバル目的関数を定式化する。
• この目的関数を連続な代替損失関数に緩和することで、勾配ベースの最適化が可能になる。
• 得られた損失関数は、回帰木を用いた勾配ブースティングによるグリーディで段階的な最適化に自然に適している。
• アルゴリズムは、精度とコストのトレードオフを段階的に改善する弱学習器（回帰木）の系列を学習する。
• 特徴抽出コストは損失関数の一部として明示的にモデル化されており、モデルが計算コストに応じてどの特徴を優先すべきかを学習できる。
• 最終的な分類器は、各段階がコスト制約下で緩和された損失関数を最小化するように重み付き和として弱学習器の組み合わせで構成される。

実験結果

リサーチクエスチョン

• RQ1 モデルの精度を損なわずに、テスト時の計算コストを最小化する学習アルゴリズムを訓練可能か？
• RQ2 特徴抽出コストを、微分可能で連続的な方法で訓練段階で効果的にモデル化・最適化できるか？
• RQ3 グリーディで段階的な最適化戦略を用いることで、制約なしの性能に匹敵するが、テスト時の効率が著しく向上するか？
• RQ4 特徴抽出コストとモデルの精度の両方が訓練段階で明示的に最適化される場合のトレードオフは何か？
• RQ5 制約なしベースラインと比較して、提案手法はテスト時の計算コストと精度の両面でどのように差をつけるか？

主な発見

• 提案手法は、無制限の計算リソースを備えた制約なしベースラインモデルと同等のテスト時の精度を達成する。
• この手法は、制約なしベースラインと比較して、テスト時の計算コストを10倍に削減する。
• グローバル目的関数の連続的緩和により、勾配ブースティングによる効果的で安定した最適化が可能になる。
• グリーディで段階的な訓練プロセスにより、低コストで高いインパクトを持つ特徴を優先する学習が可能になり、効率的な推論が実現される。
• 訓練段階でコスト感受性の表現を学習することで、未観測のテスト時の予算に対しても強力な一般化性能を示す。
• 制約付きの予算下で、従来のコスト感受性学習手法に比べ、効率性と精度の両面で優れた性能を発揮する。