[論文レビュー] pre: An R Package for Fitting Prediction Rule Ensembles

Marjolein Fokkema|arXiv (Cornell University)|Jul 22, 2017

Neural Networks and Applications被引用数 3

ひとこと要約

本論文では、FriedmanおよびPopescu（2008）の手法に従い、回帰および分類のためのスパースで解釈可能なモデルを生成する予測ルールアンサンブル（PREs）を実装するRパッケージpreを紹介する。PREsは、変数数を減らすことでランダムフォレストと同等の予測精度を達成し、解釈可能性と性能のバランスをとっている。

ABSTRACT

Prediction rule ensembles (PREs) are sparse collections of rules, offering highly interpretable regression and classification models. This paper presents the R package pre, which derives PREs through the methodology of Friedman and Popescu (2008). The implementation and functionality of package pre is described and illustrated through application on a dataset on the prediction of depression. Furthermore, accuracy and sparsity of PREs is compared with that of single trees, random forest and lasso regression in four benchmark datasets. Results indicate that pre derives ensembles with predictive accuracy comparable to that of random forests, while using a smaller number of variables for prediction.

研究の動機と目的

• 予測ルールアンサンブル（PREs）をバランスよく解釈可能かつ高い予測精度で適合できるRパッケージpreの開発および実装。
• 健康情報学分野における実用的有用性を示すために、抑うつ状態予測のための実世界データセットにPREsを適用。
• 複数のベンチマークデータセットにおいて、単一の木、ランダムフォレスト、lasso回帰と比較してPREsの精度とスパarsityを評価。
• 競合手法に比べて予測変数を少なくしていながらも、PREsが高い予測性能を維持していることを検証。

提案手法

• preパッケージは、FriedmanおよびPopescu（2008）が提唱した予測ルールアンサンブル手法を実装しており、ルールベースモデリングと正則化を組み合わせる。
• 回帰または分類木を多数適合させ、罰則付き尤度アプローチにより予測能が優れたルールを選択することで、スパースなルールアンサンブルを生成する。
• lassoに類似した罰則を用いた前向き段階的選択プロセスにより、予測性能を最大化する最小限のルール集合を選択する。
• 最終的なアンサンブルは、選択されたルールの重み付き組み合わせであり、スパarsityと解釈可能性を保証する。
• 回帰および分類の両方のタスクをサポートしており、内蔵された交差検証およびモデル診断機能を備えている。

実験結果

リサーチクエスチョン

• RQ1 preパッケージを用いて導出された予測ルールアンサンブルは、ランダムフォレストと同等の予測精度を達成できるか？
• RQ2 lasso回帰や単一の木と比較して、予測ルールアンサンブルのスパarsityはどの程度か？
• RQ3 ベンチマークデータセット上で、PREsは高い予測性能を維持しながら、どの程度解釈可能であるか？
• RQ4 preパッケージは、抑うつ状態予測のような実世界の応用において、スパースで正確なモデルの構築を効果的に支援できるか？

主な発見

• preパッケージによって生成された予測ルールアンサンブルは、4つのベンチマークデータセットすべてでランダムフォレストと同等の予測精度を達成した。
• ランダムフォレストに比べ、preを用いて導出されたアンサンブルは予測に使用する変数の数を少なくしたため、解釈性が向上した。
• テストされたデータセットにおいて、単一の木やlasso回帰よりも予測精度が優れていた。
• 抑うつ状態予測データセットへの応用により、得られたルールアンサンブルの実用的有用性と解釈可能性が実証された。