[論文レビュー] Node harvest: simple and interpretable regression and classication

Nicolai Meinshausen|arXiv (Cornell University)|Oct 12, 2009

Probabilistic and Robust Engineering Design参考文献 22被引用数 1

ひとこと要約

ノードハーベストは、重み付き平均による多数の木ノードの予測を組み合わせることで、回帰および分類のための単純で解釈可能な手法を提案する。予測精度が高く、特に信号対雑音比が低い状況でも優れた性能を発揮するが、二次計画法を用いることで、チューニングを必要とせずわずかに重要なノードを選択することでスパarsityと解釈可能性を維持する。

ABSTRACT

When choosing a suitable technique for regression and classication with multivariate pre- to analyze than single trees and are often criticized, perhaps unfairly, as 'black box' predictors. Node harvest is trying to reconcile the two aims of interpretability and predictive accuracy by combining positive aspects of trees and tree ensembles. Results are very sparse and interpretable and predictive accuracy is extremely competitive, especially for low signal-to-noise data. The procedure is very simple: an initial set of a few thousand nodes is generated randomly. If a new observation falls into just a single node, its prediction is the mean response of all training observation within this node, identical to a tree-like prediction. However, a new observation falls typically into several nodes and its prediction is then the weighted average of the mean responses across all these nodes. The only role of node harvest is to 'pick' the right nodes from the initial large ensemble of nodes by choosing node weights, which amounts in the proposed algorithm to a quadratic programming problem with linear inequality constraints. The solution is sparse in the sense that only very few nodes are selected with a non-zero weight. This sparsity is not explicitly enforced. Maybe surprisingly, it is not necessary to select a tuning parameter for optimal predictive accuracy. Node harvest can handle mixed data and missing values well and is shown to be simple to interpret and competitive in predictive accuracy on a variety of datasets, with special attention given to an application in climate modelling.

研究の動機と目的

• 機械学習モデルにおける予測精度と解釈可能性のトレードオフを解消すること、特に高次元の多変量データに対して。
• 木のアンサンブルの『ブラックボックス』的批判に対処し、その予測性能と同等またはそれを上回りながらも解釈可能性を保った手法を構築すること。
• 混合データ型および欠損値を効果的に処理できる技術を開発すること、解釈可能性や精度を損なわずに行う。
• 特に解釈可能性と耐性が重要な気候モデリングにおいて、その手法の実用的有用性を示すこと。
• 最適な予測性能をチューニングパラメータなしに達成できることを示すこと、最適化プロセスが自然に生じるスパarsityを活用することで。

提案手法

• 訓練データ上でランダムに成長させた決定木を多数生成することで、数千年ものノードからなる初期アンサンブルを構築する。
• 新しい観測値に対しては、その観測値が属するすべてのノードの平均応答の重み付き平均として予測値を計算する。単一のノードに依存するのではなく、複数のノードの予測を統合する。
• 予測誤差を最小化するように、線形不等式制約を伴う二次計画法を用いてノードの重みを決定する。
• 最適化プロセス自体がスパースな解を自然に生じさせ、明示的なスパース制約を設けずとも、非ゼロの重みを持つノードの少数を選択する。
• 変数のスケーリングに対して不変であり、混合データ型および欠損値は木の構築プロセス内で自然に処理される。
• チューニングパラメータが存在しないのは、最適解が直接最適化から導かれるためであり、交差検証やグリッドサーチを回避できる。

実験結果

リサーチクエスチョン

• RQ1 単純で解釈可能な手法が、木のアンサンブルと同等の予測精度を達成しつつ、そのブラックボックス性を回避できるか？
• RQ2 明示的な正則化やチューニングなしに、最適化フレームワークから自然にノード選択のスパarsityが生じる程度はどの程度か？
• RQ3 信号対雑音比が低いデータセットにおいて、解釈可能性と耐性が特に重要な状況で、この手法はどの程度の性能を発揮するか？
• RQ4 前処理や補完を必要とせず、混合データ型および欠損値を効果的に処理できるか？
• RQ5 気候モデリングのような実世界の応用分野において、この手法は多様なデータセットにわたり解釈可能性を保ちつつ、強力な性能を発揮できるか？

主な発見

• ノードハーベストは、特に信号対雑音比が低い状況で、木のアンサンブルと同等に非常に競争力のある予測精度を達成する。
• この手法は非常にスパースなモデルを生成し、非ゼロの重みを持つノードがわずかに少数にとどまる。これにより、性能を損なわず解釈可能性が向上する。
• 最適化プロセスが自然にスパarsityを生じさせ、モデルの複雑さを制御するための明示的チューニングパラメータが不要になる。
• 混合データ型および欠損値を効果的に処理でき、データ変換や補完を必要としない。
• 気候モデリングの応用において、ノードハーベストは解釈可能でありながらも強力な予測性能を示した。
• 複雑なアンサンブルモデルとは異なり、ユーザーが予測に寄与する少数の選択されたノードを直接確認できるため、解釈可能性が保たれる。