[論文レビュー] Random ferns method implementation for the general-purpose machine learning

Miron B. Kursa|arXiv (Cornell University)|Feb 6, 2012

Neural Networks and Applications参考文献 13被引用数 6

ひとこと要約

この論文は、rFerns RパッケージにおけるRandom fernsアルゴリズムを拡張し、二値特徴に限定されない形でカテゴリカルおよび数値特徴を処理できるようにした。元々の二値のみのアプローチに代わり、バギングを導入することで誤差推定と変数重要度の向上を実現した。ランダムフォレストよりわずかに精度が低いものの、高速な学習と競争力のある重要度測定を実現しており、特定の高速応用に適している。

ABSTRACT

In this paper I present an extended implementation of the Random ferns algorithm contained in the R package rFerns. It diers from the original by the ability of consuming categorical and numer-ical attributes instead of only binary ones. Also, instead of using simple attribute subspace ensemble it employs bagging and thus produce error approximation and variable importance measure modelled after Random forest algorithm. I also present benchmarks ’ results which show that although Random ferns’ accuracy is mostly smaller than achieved by Random forest, its speed and good quality of importance measure it provides make rFerns a reasonable choice for a specific applications. 1

研究の動機と目的

• 二値特徴に限定されていた元のRandom fernsアルゴリズムを、カテゴリカルおよび数値入力特徴をサポートするように拡張すること。
• Random fernsフレームワークにバギングを統合することで、モデルの頑健性と誤差推定を向上させること。
• 解釈可能性を高めるために、ランダムフォレストと類似した変数重要度測定を提供すること。
• 実用的導入を想定し、ランダムフォレストと比較した場合の精度と速度のトレードオフを評価すること。
• 学習速度と重要度測定の質が重要な応用において、rFernsがランダムフォレストよりもより適している状況を示すこと。

提案手法

• アルゴリズムは、二値符号化を必要とせず、カテゴリカルおよび数値特徴を直接処理できるようにRandom fernsを拡張している。
• バギングをRandom fernsフレームワークに適用し、複数の弱学習器を生成することで汎化性能と誤差推定を向上させている。
• 変数重要度は、ランダムフォレストの重要度指標を模倣した測定法に基づき、特徴量をランダムに並び替えた際の予測誤差の増加に基づいて算出されている。
• フェアンごとにランダムな特徴量サブセット選択と二値分割を用いるが、非二値特徴の処理を強化している。
• 木構造の複雑な構築を回避することで、フェアンごとの単純な二値分類器に依存し、モデル学習を高速化している。
• 最終的な予測は、すべてのフェアンの出力を平均することで得られ、バギングにより安定性が向上している。

実験結果

リサーチクエスチョン

• RQ1 二値符号化に依存せずに、カテゴリカルおよび数値特徴を効果的に処理できるようにRandom fernsを拡張できるか？
• RQ2 Random fernsにバギングを統合することで、元の手法と比較して誤差推定とモデルの頑健性が向上するか？
• RQ3 rFernsにおける変数重要度測定は、ランダムフォレストのものと比較して質と信頼性に優れているか？
• RQ4 ランダムフォレストと比較して、rFernsにおける予測精度と学習速度のトレードオフはいかほどか？
• RQ5 低い精度であるが、学習速度と重要度測定の質が重要な応用では、rFernsがランダムフォレストよりもより適している状況は何か？

主な発見

• 拡張されたrFerns実装は、カテゴリカルおよび数値特徴の両方を正常にサポートしており、二値符号化の必要性がなくなった。
• バギングの統合により、元のRandom fernsと比較して誤差の近似精度が向上し、モデルの安定性も向上した。
• rFernsにおける変数重要度測定は、ランダムフォレストを模倣しており、信頼性の高い特徴量順位付けを提供している。
• rFernsは、ランダムフォレストと比較して著しく高速な学習時間を達成しており、速度に敏感な応用に適している。
• rFernsの精度は一般的にランダムフォレストより低いが、速度と解釈可能性の利点を鑑みれば差はしばしば許容できる。
• ベンチマーク結果から、最大精度を求めるのではなく、高速な学習と良好な重要度推定を重視する状況では、rFernsが妥当な代替手段であることが確認された。