[論文レビュー] bartMachine: Machine Learning with Bayesian Additive Regression Trees

Adam Kapelner, Justin Bleich|arXiv (Cornell University)|Dec 8, 2013

Data Analysis with R参考文献 14被引用数 50

ひとこと要約

この論文では、既存のRパッケージと比較して、性能および機能面で顕著な向上を遂げたBayesian Additive Regression Trees（BART）を実装するRパッケージbartMachineを紹介する。Javaを並列化して統合することでBARTの処理を高速化し、予測のための外挿予測が可能になり、欠損値の処理が可能で、変数選択には順列検定を採用し、診断ツールも備えている。これにより、回帰および分類の機械学習応用においてBARTがより使いやすく、効率的になる。

ABSTRACT

We present a new package in R implementing Bayesian additive regression trees (BART). The package introduces many new features for data analysis using BART such as variable selection, interaction detection, model diagnostic plots, incorporation of missing data and the ability to save trees for future prediction. It is significantly faster than the current R implementation, parallelized, and capable of handling both large sample sizes and high-dimensional data.

研究の動機と目的

• 既存のBayesTree Rパッケージにネイティブなpredict関数が存在しないため、新しいデータに対して再訓練を強いられる問題を解消すること。
• Javaによる実装とRにおけるマルチコア並列処理の導入により、BARTの計算効率を向上させること。
• モデルの永続化、欠損値の補完、組み込みの交差検証など、BARTの機能を拡張すること。
• 収束プロット、信用区間、順列検定による変数重要度といった高度な診断ツールを提供すること。
• 豊富な可視化およびモデル解釈ツールを備えて、回帰および分類の両タスクをサポートすること。

提案手法

• 高性能な計算を実現するため、Javaを用いてBARTを実装し、rJavaを介してRと統合することで、Rエコシステム内でのシームレスな利用を可能にする。
• 複数のCPUコアを活用して、モデルのフィッティング、予測、診断計算を並列化し、トレーニングおよび推論の高速化を実現する。
• フィットさせた木構造を保存する永続的モデルストレージシステムを導入し、再トレーニングなしに後続の予測が可能になるようにする。
• 欠損値の存在をトレーニングおよび予測段階で考慮するため、条件付き補完戦略を用いた欠損値処理機構を実装する。
• 順列に基づく仮説検定を用いて変数重要度を評価し、相互作用の検出も可能にし、共変数効果のp値を提供する。
• 部分的依存プロット、ギブスサンプラーの収束診断、予測区間の可視化を提供し、モデル評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 Rにおける大規模データセットや高次元問題に対して、BARTをどのようにスケーラブルかつ効率的にすることができるか？
• RQ2 ネイティブなpredict機能を備え、完全に並列化され、プロダクション環境で使用可能なBART実装をRエコシステムに統合できるか？
• RQ3 非パラメトリックベイジアンフレームワーク内において、順列に基づく推論を用いて変数重要度と相互作用検出をどのように向上させられるか？
• RQ4 リストワイズ削除を用いずに、BARTフレームワーク内で欠損値を効果的に処理できる範囲はどの程度か？
• RQ5 収束プロットや信用区間といった診断ツールは、モデルの信頼性および解釈可能性をどのように向上させるか？

主な発見

• bartMachineは、Javaベースの並列処理と最適化されたC++に近いパフォーマンスのおかげで、元のBayesTree R実装よりも著しく高速である。
• 専用のpredict関数を備えているため、新しいデータに対する外挿予測が可能になり、再トレーニングの必要がなくなる。
• 変数重要度は包含頻度と順列に基づくp値で評価され、上位10位の予測子は自動車価格に極めて有意な影響を示した（p < 0.001）。
• ボディスタイル変数はわずかに有意な影響を示した（p = 0.0495）が、幅（width）は有意な影響がなかった（p > 0.05）にもかかわらず、高い包含頻度を示した。
• オムニバス検定により、少なくとも1つの予測子が応答変数に有意に影響していることが確認された（p < 0.001）、これによりモデルの全体的な予測力が裏付けられた。
• 収束プロット（σ²および木レベルのパラメータ用）を含むモデル診断ツールにより、MCMCの混合状態とモデルの安定性をユーザーが評価できるようになった。