[論文レビュー] Pruning Random Forests for Prediction on a Budget

Nan Feng, Joseph Wang+1 more|arXiv (Cornell University)|Jun 16, 2016

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 17

ひとこと要約

本稿では、予算制約下での予測精度と特徴量取得コストのトレードオフを最適化する、ランダムフォレストのボトムアッププルーニング手法を提案する。特徴量再利用制約を含む0-1整数計画問題としてプルーニングを定式化し、全単調性を証明することで、線形計画法の緩和と原双対アルゴリズムを用いた多項式時間で最適なプルーニングが可能となり、ベンチマークデータセットにおいて最先端の手法を上回り、精度の損失を最小限に抑えつつコストを大幅に削減した。

ABSTRACT

We propose to prune a random forest (RF) for resource-constrained prediction. We first construct a RF and then prune it to optimize expected feature cost & accuracy. We pose pruning RFs as a novel 0-1 integer program with linear constraints that encourages feature re-use. We establish total unimodularity of the constraint set to prove that the corresponding LP relaxation solves the original integer program. We then exploit connections to combinatorial optimization and develop an efficient primal-dual algorithm, scalable to large datasets. In contrast to our bottom-up approach, which benefits from good RF initialization, conventional methods are top-down acquiring features based on their utility value and is generally intractable, requiring heuristics. Empirically, our pruning algorithm outperforms existing state-of-the-art resource-constrained algorithms.

研究の動機と目的

• 特徴量取得にコストや遅延が伴う大規模分類システムにおけるリソース制約下の予測問題に対処すること。
• 予測精度を低下させることなくランダムフォレストの平均的特徴量取得コストを低減すること。
• 特徴量再利用とアンサンブル全体の統合的木のプルーニングを活用する、グローバルに最適なプルーニング戦略の開発。
• 従来のトップダウン特徴量選択手法の非効率性を、ボトムアップで初期化に依存するアプローチによって克服すること。
• 双対性とネットワークフロー理論を活用して、大規模データセットにおけるスケーラブルかつ効率的なプルーニングを可能にすること。

提案手法

• 木間での特徴量再利用を促進する制約を含む0-1整数線形計画問題としてランダムフォレストのプルーニングを定式化する。
• 制約行列の全単調性を証明し、線形計画法の緩和が最適な整数解を保証することを示す。
• ネットワークフロー理論に基づく原双対アルゴリズムを提案し、大規模データセットへのスケーラビリティを実現する。
• 事前学習済みのランダムフォレストを初期化として用い、経験的誤差と平均的特徴量コストを最小化するように木をプルーニングする。
• 同じ例で特徴量を複数回使用する場合、初回の取得後は追加コストを発生させないように特徴量取得コストをモデル化する。
• 均一なコストと非均一なコストの両設定に本手法を適用し、コストの非一様性に対しても堅牢であることを示す。

実験結果

リサーチクエスチョン

• RQ1 リソース制約下の予測において、トップダウン特徴量選択と比較してボトムアッププルーニングアプローチが、より優れたコスト-精度トレードオフを達成できるか？
• RQ2 プルーニング時に特徴量再利用を強制することで、精度の低下を最小限に抑えつつ顕著なコスト削減が達成できるか？
• RQ3 全単調性のおかげで線形計画法の緩和により、多項式時間で最適にプルーニング問題を解けるか？
• RQ4 非均一な特徴量コスト設定下で、本手法は既存のアルゴリズムと比較してどのように性能を発揮するか？
• RQ5 分割基準の選択（例：エントロピー対Pairs）がプルーニングの結果とコスト-精度トレードオフに与える影響は何か？

主な発見

• MiniBooNEデータセットでは、プルーニングにより平均的特徴量取得コストを7.3から0.2に削減したが、テスト誤差は6.6%を維持した。
• プルーニング後、68.3%のテスト例が特定の特徴量を使用しなくなった。これは、精度の損失を最小限に抑えつつ取得コストを顕著に削減したことを示している。
• 提案手法であるBudgetPruneは、CCPおよびGreedyPruneを上回った。特に非均一な特徴量コスト下ではCCPの性能が急激に低下するのに対し、BudgetPruneは安定した性能を示した。
• Pairs分割基準に基づくプルーニングは低コスト領域で高い精度を達成したが、エントロピーベースのフォレストは高コスト領域で優れた性能を示した。
• 原双対アルゴリズムは大規模データセットに対しても効率的にスケーリングでき、全単調性のおかげで線形計画法の緩和により最適なプルーニングが可能になった。
• ランダム特徴量サブセットサイズ（k=20対k=120）の変動に対しても本手法は頑健であった。BudgetPruneはkが大きい場合でも良好な性能を維持したが、GreedyPruneはそのような条件下で失敗した。