[論文レビュー] Fast Prediction of New Feature Utility

Hoyt Koepke, Mikhail Bilenko|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Data Classification参考文献 24被引用数 3

ひとこと要約

この論文では、トレーニング済みの予測器の損失勾配と特徴量の相関を活用することで、再訓練を伴わずに新しい特徴量がモデル性能を向上させるかどうかを高速に予測する手法を提案する。この手法により、ベンチマークおよび産業データ上で検証された一貫性があり、計算コストを大幅に削減できる特徴量有効性の仮説検定が可能になる。

ABSTRACT

We study the new feature utility prediction problem: statistically testing whether adding a new feature to the data representation can improve predictive accuracy on a supervised learning task. In many applications, identifying new informative features is the primary pathway for improving performance. However, evaluating every potential feature by re-training the predictor with it can be costly. The paper describes an efficient, learner-independent technique for estimating new feature utility without re-training based on the current predictor's outputs. The method is obtained by deriving a connection between loss reduction potential and the new feature's correlation with the loss gradient of the current predictor. This leads to a simple yet powerful hypothesis testing procedure, for which we prove consistency. Our theoretical analysis is accompanied by empirical evaluation on standard benchmarks and a large-scale industrial dataset.

研究の動機と目的

• 教師あり学習における新しい特徴量の評価にフル再訓練を要する高コストな計算を軽減すること。
• 予測器の再訓練を伴わずに特徴量有効性を予測できる学習アルゴリズムに依存しない手法の開発。
• 実世界の応用において、大量の候補特徴量を迅速にスクリーニングすること。
• 特徴量有効性予測に対する統計的に一貫性のある仮説検定を提供すること。

提案手法

• 本手法は、トレーニング損失の潜在的低減と、新しい特徴量と現在の予測器の損失勾配との相関の間の関係を導出する。
• この相関に基づいて検定統計量を定式化し、再訓練を伴わずに特徴量有効性の仮説検定が可能になる。
• やや弱い正則性条件のもとで一貫性を示し、標本サイズが増加するにつれて信頼性の高い予測が保証される。
• 任意の微分可能な損失関数および任意のベース予測器に適用可能である。
• 再訓練を避けるために、現在の予測器の出力を用いて損失勾配を推定する。
• 計算が効率的であり、検定統計量の計算にはデータを一度だけ走査すれば十分である。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わずに、新しい特徴量が予測精度を向上させるかどうかを予測することは可能か？
• RQ2 学習アルゴリズムに依存しない方法で、特徴量有効性を効率的に推定するにはどうすればよいか？
• RQ3 提案手法の統計的性質として、一貫性と信頼性はどのように保証されるか？
• RQ4 精度と計算コストの観点から、本手法はフル再訓練と比べてどのように差がつくか？
• RQ5 本手法は、標準ベンチマークおよび大規模な産業データセットの両方で効果的に適用可能か？

主な発見

• 提案手法は、標本サイズが増加するにつれて正しさの理論的保証を有する一貫性のある特徴量有効性予測を達成する。
• 実験的評価により、本手法は再訓練による評価と同程度に有用な特徴量を特定する能力を示している。
• 再訓練ベースの評価と比較して、計算コストを桁違いに削減する。
• 標準ベンチマークおよび大規模な産業データセットの両方で、高い正確性と低い偽陽性率で高有効性特徴量を同定している。
• さまざまなタイプの予測器および損失関数に対して、本手法は頑健である。
• 再訓練を伴わずに数千個の候補特徴量を迅速にスクリーニングできるため、スケーラブルな特徴量工学が可能になる。