[論文レビュー] The Random Forest Classifier in WEKA: Discussion and New Developments for Imbalanced Data

Mario Amrehn, Firas Mualla+3 more|arXiv (Cornell University)|Dec 19, 2018

Imbalanced Data Classification Techniques参考文献 8被引用数 15

ひとこと要約

この論文は、医療および実世界のデータセットにおけるクラス不均衡問題に対処するため、WEKAデータマイニングツールキット向けにバランス型ランダムフォレスト（BRF）分類器の拡張を提案している。各木における少数クラスと多数クラスのインスタンスを等しくするようにブートストラップサンプリングを変更することで、全体の精度を損なわずに少数クラスの予測性能を向上させ、標準的RFおよび重み付きRFを上回る性能を示した。不均衡な医療データセットにおける交差検証でも優れた結果を達成した。

ABSTRACT

Data analysis and machine learning have become an integrative part of the modern scientific methodology, providing automated techniques to predict further information based on observations. One of these classification and regression techniques is the random forest approach. Those decision tree based predictors are best known for their good computational performance and scalability. However, in case of severely imbalanced training data, as often seen in medical studies' data with large control groups, the training algorithm or the sampling process has to be altered in order to improve the prediction quality for minority classes. In this work, a balanced random forest approach for WEKA is proposed. Furthermore, the prediction quality of the unmodified random forest implementation and the new balanced random forest version for WEKA are evaluated against reference implementations in R. Two-class problems on balanced data sets and imbalanced medical studies' data are investigated. A superior prediction quality using the proposed method for imbalanced data is shown compared to the other three techniques.

研究の動機と目的

• 少数クラスが過小予測される不均衡な医療データセットにおいて、標準的ランダムフォレスト分類器の性能が低い問題を解決すること。
• 各木の学習セットで少数クラスと多数クラスが均等に表現されるようにブートストラップサンプリングを変更するバランス型ランダムフォレスト（BRF）分類器をWEKAフレームワークに拡張すること。
• 不均衡および平衡データセットにおいて、標準的RF、重み付きRF、およびR言語で実装されたBRFと比較して、BRFの性能を評価すること。
• 重度に不均衡なデータにおいて、BRFが全体の精度を維持しながら少数クラスの真正陽性率（TPR）を著しく向上させることを示すこと。
• 医療診断などの実世界の応用において、より公平な分類を可能にする実用的でオープンソースのWEKA拡張を提供すること。

提案手法

• BRF分類器は、標準的ランダムフォレストのブートストラップサンプリングプロセスを変更し、各クラスのサンプルサイズを少数クラスのサイズに設定することで、各木の学習セットにおけるバランスの取れた表現を保証する。
• 各木に対して、リプレースメントありのブートストラップサンプルを抽出するが、クラスごとのインスタンス数は少数クラスのサイズに制限され、多数クラスの過剰表現を防ぐ。
• 木の構築プロセスでは情報利得を用いて分割を行い、未 prune された決定木を構築し、最終的な予測は全木における多数決に基づく。
• WEKA 3.7.12に統合するために、既存のランダムフォレストクラスを拡張し、クラスバランスの取れたサンプリングを制御するパラメータを追加した。
• 10分割交差検証を用いて性能を評価し、木の数を20、100、2000と変化させ、多数クラスおよび少数クラスのTPR、CCR（正しく分類された率）、平均TPRを測定した。
• 結果は、標準的RF、重み付きRF、およびR言語で実装されたBRFと比較され、提案手法の一貫性および優位性を検証した。

実験結果

リサーチクエスチョン

• RQ1 WEKAにおける標準的ランダムフォレストと比較して、バランス型ランダムフォレスト分類器は不均衡な医療データセットにおける少数クラスの予測性能を向上させるか？
• RQ2 WEKAに実装された本研究のBRFは、R言語のリファレンス実装や他のRF変種と比較して、性能に優れているか？
• RQ3 木の学習中にブートストラップサンプリングをバランスさせることが、不均衡データにおける多数クラスへのバイアスをどの程度軽減するか？
• RQ4 BRFは少数クラスのTPRを著しく向上させながら、高い全体の精度を維持するか？
• RQ5 本研究で提案するBRF拡張は、臨床的および実世界の応用における公平な機械学習を支援するために、WEKAフレームワークに効果的に統合可能か？

主な発見

• HY1データセットでは、BRF-Wバージョンが100本の木で95.4%、2,000本の木で95.4%の少数クラスTPRを達成し、標準的RF（88.1%および86.6%）およびBRF-R（92.6%および91.7%）を著しく上回った。
• HY2データセットでは、BRF-Wが100本の木で97.0%、2,000本の木で97.1%の少数クラスTPRを達成し、RF-W（88.3%および88.7%）およびRF-R（86.9%および88.1%）を上回った。
• ESSデータセットでは、BRF-Wが100本の木で93.5%、2,000本の木で93.9%の少数クラスTPRを達成し、RF-W（90.4%および89.4%）およびRF-R（86.8%および87.8%）を上回った。
• 平衡データセット（SPAM、EG）では、BRF-Wバージョンがそれぞれ94.8%および99.3%のTPR_avgを維持し、平衡データに対して性能劣化が見られなかった。
• すべての不均衡データセットにおいて、BRF-Wの平均TPR（TPR_avg）は他の手法よりも一貫して高く、HY1で96.4%、HY2で97.7%、ESSで95.4%を記録した。
• WEKAに実装された本研究のBRFは、全体の精度を維持またはわずかに低下させながら、少数クラスの予測性能を顕著に向上させた。これにより、不均衡データに対する有効性が確認された。