[論文レビュー] Feature-Budgeted Random Forest

Nan Feng, Joseph Wang+1 more|arXiv (Cornell University)|Feb 20, 2015

Machine Learning and Data Classification参考文献 14被引用数 28

ひとこと要約

本論文では、ユーザーが指定した平均特徴取得コストの制約下で予測誤差を最小化する、新規のランダムフォレストアルゴリズムである特徴量予算付きランダムフォレスト（BudgetRF）を提案する。最小最大化コスト重み付き不純度分割を用いることで、低コストで高性能な木を構築し、最先端の手法と比較してベンチマークデータセット上で優れた精度-コストトレードオフを達成する。

ABSTRACT

We seek decision rules for prediction-time cost reduction, where complete data is available for training, but during prediction-time, each feature can only be acquired for an additional cost. We propose a novel random forest algorithm to minimize prediction error for a user-specified {\it average} feature acquisition budget. While random forests yield strong generalization performance, they do not explicitly account for feature costs and furthermore require low correlation among trees, which amplifies costs. Our random forest grows trees with low acquisition cost and high strength based on greedy minimax cost-weighted-impurity splits. Theoretically, we establish near-optimal acquisition cost guarantees for our algorithm. Empirically, on a number of benchmark datasets we demonstrate superior accuracy-cost curves against state-of-the-art prediction-time algorithms.

研究の動機と目的

• 推論時のユーザー定義の平均特徴取得コストの制約下で予測誤差を最小化する課題に対処すること。
• 標準的なランダムフォレストが特徴量コストを無視し、しばしば高コストの特徴量を無差別に選択するという制限を克服すること。
• ランダムフォレスト全体の特徴量取得コストを最小化しつつ、高い木の多様性と一般化性能を維持すること。
• 並列化可能で分散データベースに適用可能なスケーラブルなグリーディアルゴリズムを開発すること。
• 実験的に、本手法が既存の予測時予算付き学習アルゴリズムよりも優れた精度-コストトレードオフを達成することを示すこと。

提案手法

• 分類性能と特徴量取得コストのバランスを取るために、ミニマックス戦略を用いたコスト重み付き不純度分割基準を導入すること。
• 各決定木を、最低コスト重み付きジニ不純度低減に基づいて選択するグリーディアルゴリズムで成長させること。
• 予算制約を満たすまで、低コストで高強度の木を繰り返し追加することでランダムフォレストを構築すること。
• 木の深さを制御するためのしきい値パラメータαを用い、過学習を防ぐ。αは検証を用いて調整する。
• 特徴量取得を適応的に行う：特徴量が分割に使用される場合にのみ取得することで、1回の予測あたりの平均コストを低減すること。
• 理論的分析により、個々の木および全体のランダムフォレストに対して近似的に最適なコスト保証が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが指定した平均特徴取得コストを満たしつつ、予測誤差を最小化するランダムフォレストを設計できるか？
• RQ2 木の構築時に特徴量コストを組み込むことで、標準的なランダムフォレストと比較して一般化性能とコスト効率にどのような影響を与えるか？
• RQ3 グリーディコスト重み付き分割戦略は、最適なコスト最小化木構造をどの程度近似できるか？
• RQ4 本手法は、最先端の予測時予算付き学習アルゴリズムと比較して、精度-コストトレードオフにおいて優れているか？
• RQ5 連続的およびカテゴリカルな特徴量を併用する混合型データ（非線形意思決定境界を伴う）に対して、本手法はどのように対処するか？

主な発見

• Forest Covertypeデータセットでは、10本の木を使用した場合、BudgetRFは1テスト例あたり平均で23.21%の特徴量しか使用しなかったのに対し、標準的なランダムフォレストでは63.04%を要した。
• MiniBooNEでは、BudgetRFは57.80%の平均特徴量使用率でテスト誤差0.0786を達成し、高予算領域においてASTCおよびCSTCを上回った。
• CIFAR-10では、すべての予算レベルでBudgetRFがASTCおよびCSTCを上回ったが、過学習は観察されず、ASTCおよびCSTCは特定の予算を超えると誤差が増加した。
• α=0に設定した場合、標準的なRFよりも顕著に低い特徴量使用率で競争力のあるテスト誤差（Forestで0.1364、MiniBooNEで0.0786、CIFARで0.3600）を達成した。
• 本手法は混合データタイプに対して頑健であり、特に他の手法が苦戦する非線形意思決定領域で顕著な優位性を示した。
• 実験的結果から、4つのベンチマークデータセットにおいてBudgetRFが優れた精度-コスト曲線を達成しており、コスト感受性予測における優位性が確認された。