[論文レビュー] Forest Floor Visualizations of Random Forests

Soeren H. Welling, Hanne H. F. Refsgaard+2 more|arXiv (Cornell University)|May 30, 2016

Forest ecology and management参考文献 11被引用数 64

ひとこと要約

この論文は、特徴量の寄与と次元削減を用いて、平均化を伴わずに非線形な関係や相互作用を露わにする、ランダムフォレストモデルのための新規可視化手法「フォレストフロア」を紹介する。これにより、隠れた相互作用を暴き出し、従来の部分的依存プロットをはるかに超える解釈可能性を実現する高次元可視化が可能になる。

ABSTRACT

We propose a novel methodology, forest floor, to visualize and interpret random forest (RF) models. RF is a popular and useful tool for non-linear multi-variate classification and regression, which yields a good trade-off between robustness (low variance) and adaptiveness (low bias). Direct interpretation of a RF model is difficult, as the explicit ensemble model of hundreds of deep trees is complex. Nonetheless, it is possible to visualize a RF model fit by its mapping from feature space to prediction space. Hereby the user is first presented with the overall geometrical shape of the model structure, and when needed one can zoom in on local details. Dimensional reduction by projection is used to visualize high dimensional shapes. The traditional method to visualize RF model structure, partial dependence plots, achieve this by averaging multiple parallel projections. We suggest to first use feature contributions, a method to decompose trees by splitting features, and then subsequently perform projections. The advantages of forest floor over partial dependence plots is that interactions are not masked by averaging. As a consequence, it is possible to locate interactions, which are not visualized in a given projection. Furthermore, we introduce: a goodness-of-visualization measure, use of colour gradients to identify interactions and an out-of-bag cross validated variant of feature contributions.

研究の動機と目的

• 複雑で高次元なランダムフォレストモデルの解釈を困難にする課題に取り組む。これらのモデルは強力な予測性能を示すが、しばしばブラックボックスとして扱われる。
• 部分的依存プロットの限界を克服する。これらのプロットは、射影に沿った平均化によって相互作用が隠されてしまう。
• ユーザーがランダムフォレストモデルにおける影響力のある相互作用を特定し、理解するのを支援する可視化フレームワークを開発する。
• 新規の可視化の質を測る指標と、色のグラデーション技術を導入し、特徴量寄与図にまだ可視化されていない相互作用を強調する。
• アウトオブバッグと交差検証を用いた特徴量寄与を活用し、過学習を低減し、信頼性を向上させることで解釈可能性を強化する。

提案手法

• この手法は、ランダムフォレストの各木を個々の特徴量の寄与に分解することで、予測値を特定の入力変数に帰属づける。
• 次元削減による射影を適用し、高次元のモデルマッピングを2次元または3次元で可視化することで、局所構造と相互作用を保持する。
• 部分的依存と同様に並列射影の平均化を行うのではなく、特徴量寄与の的を絞った可視化に置き換えることで、相互作用効果の隠蔽を低減する。
• 特徴量の寄与が孤立して意味的に解釈可能かどうかを評価するための、新規の可視化の質の指標を導入する。
• 色のグラデーションを用いて、現在の射影にまだ捉えられていないが、相互作用が存在する領域を強調表示する。
• 過学習を低減し、可視化の一般化性能を向上させるために、アウトオブバッグおよびn-fold交差検証を用いた特徴量寄与の変種を導入する。

実験結果

リサーチクエスチョン

• RQ1 特徴量寄与と的を絞った射影は、部分的依存プロットにおける平均化によって隠蔽されるランダムフォレストモデルの相互作用を明らかにできるか？
• RQ2 可視化フレームワークは、高次元ランダムフォレストモデルにおける隠れた相互作用の場所を特定し、その影響を評価するのをユーザーにどのように支援できるか？
• RQ3 特徴量寄与と可視化の質の指標は、ランダムフォレストモデルの解釈可能性をどの程度向上できるか？
• RQ4 アウトオブバッグで交差検証された特徴量寄与は、解釈可能性を損なわせることなく、モデル可視化における過学習を低減できるか？
• RQ5 ランダムフォレストが高次相互作用を適合させる能力にどのような限界があり、それがモデル構造の可視化可能性にどのように影響するか？

主な発見

• フォレストフロアは、平均化された射影ではなく特徴量寄与に焦点を当てることで、ランダムフォレストモデルにおける複雑で非線形的かつ相互作用的な関係を効果的に可視化する。
• 色のグラデーションによって、部分的依存プロットでは見えにくくなる相互作用効果が特定され、その効果が明らかになった。
• アウトオブバッグで交差検証された特徴量寄与は、過学習を低減し、とくにノイズが多いか高次元な状況下でも可視化の信頼性を向上させる。
• 可視化の質の指標は、特徴量の寄与が孤立して解釈できない場合に効果的に特定し、文脈的な相互作用の可視化の必要性を示す。
• シミュレーションの結果、10,000件のノイズのない観測値を用いても、ランダムフォレストは3次以上の相互作用をうまく適合できないことが示され、2次または3次相互作用を超える可視化の必要性が制限される。
• このフレームワークにより、ランダムフォレストモデルの解釈可能で文脈に配慮した可視化が可能となり、ランダムフォレストが本質的に解釈不能なブラックボックスであるという認識に挑戦する。