[論文レビュー] Banzhaf Random Forests

Jianyuan Sun, Guoqiang Zhong+2 more|arXiv (Cornell University)|Jul 22, 2015

Data Mining Algorithms and Applications参考文献 34被引用数 3

ひとこと要約

本稿では、協力ゲーム理論におけるBanzhafパワー指数を用いて、連携的依存関係に基づき特徴量重要度を評価する、新たなランダムフォレストアルゴリズム「Banzhaf Random Forests（BRF）」を提案する。理論的整合性を保証する。実験の結果、最先端の分類器を上回り、従来の整合的ランダムフォレストよりも著しく効率的であることが示された。

ABSTRACT

Random forests are a type of ensemble method which makes predictions by combining the results of several independent trees. However, the theory of random forests has long been outpaced by their application. In this paper, we propose a novel random forests algorithm based on cooperative game theory. Banzhaf power index is employed to evaluate the power of each feature by traversing possible feature coalitions. Unlike the previously used information gain rate of information theory, which simply chooses the most informative feature, the Banzhaf power index can be considered as a metric of the importance of each feature on the dependency among a group of features. More importantly, we have proved the consistency of the proposed algorithm, named Banzhaf random forests (BRF). This theoretical analysis takes a step towards narrowing the gap between the theory and practice of random forests for classification problems. Experiments on several UCI benchmark data sets show that BRF is competitive with state-of-the-art classifiers and dramatically outperforms previous consistent random forests. Particularly, it is much more efficient than previous consistent random forests.

研究の動機と目的

• ランダムフォレストの理論的理解と実践的応用の間の長年のギャップを埋めること。
• 従来の理論的モデルが達成できなかった、バッチ多クラス分類のための整合的ランダムフォレストモデルの開発。
• 特徴量間の相関関係を捉えるために、協力ゲーム理論に基づく新しい特徴量重要度指標の導入。
• 予測性能を維持または向上させつつ、既存の整合的ランダムフォレストよりも計算効率を向上させること。

提案手法

• すべての特徴量の可能な組み合わせ（コалиション）に対する各特徴量の寄与度を評価するために、Banzhafパワー指数を適用する。
• 特徴量の集団的依存関係に基づき、特徴量の優先順位を決定するため、従来の情報ゲインの代わりにBanzhaf指数を用いる。
• 決定木を構築する際にBanzhafパワー指数を用いてスプリット選択をガイドすることで、より強固で理論的根拠に基づいた特徴量選択プロセスを実現する。
• 標準的なランダムフォレストと同様に、ブートストラップサンプリングとランダム特徴量選択を用いて多様性を確保する。
• 標準的な仮定の下でBRFの整合性を証明し、データサイズが増加するにつれて最適なベイズ分類器に収束することを示す。
• ノードごとの誤分類率に基づく終了条件を導入することで、安定した木の成長を保証する。

実験結果

リサーチクエスチョン

• RQ1 協力ゲーム理論をランダムフォレストに効果的に適用することで、理論的整合性を向上させられるか？
• RQ2 特徴量選択にBanzhafパワー指数を用いることで、従来の情報ゲインに基づく手法よりも優れた分類性能が得られるか？
• RQ3 提案されたBRFモデルは、最先端のランダムフォレストおよび整合的モデルと比較して、精度と効率の面で優れているか？
• RQ4 Banzhafに基づく特徴量重要度機構は、独立した特徴量選択よりも特徴量間の依存関係をより効果的に捉えられるか？

主な発見

• BRFは、複数のUCIデータセットにおいてKNN、SVM、Breimanのオリジナルランダムフォレストと同等の分類精度を達成した。
• Soybeanデータセットでは、BRFは100％の精度を達成し、最高性能を示すモデルと同等の結果を得た。
• Shuttleデータセットでは、BRFは99.57％の精度を達成し、Breimanのモデルと同等の性能を示し、Biauの整合的モデル（82.56％）を上回った。
• BRFはBiauの整合的ランダムフォレストモデルを著しく上回り、Ecoliデータセットでは42.86％の精度にとどまったBiauモデルを大きく上回った。
• BRFはBiauの整合的モデルよりも効率的であり、Shuttleデータセットにおける学習時間は80.66秒であったのに対し、Biauモデルは39,600.63秒を要した。
• 木の数にかかわらずモデルは頑健であり、100本の木で最適な性能を示し、木の数を変化させても高い精度を維持した。