[論文レビュー] Peeking Inside the Black Box: Visualizing Statistical Learning with Plots of Individual Conditional Expectation

Alex Goldstein, Adam Kapelner+2 more|arXiv (Cornell University)|Sep 25, 2013

Mental Health Research TopicsPsychology被引用数 18

ひとこと要約

この論文は、ブラックボックス機械学習モデル内の予測子変数の変化に対するデータセット内の個々の観測値の反応を可視化する手法として、個別条件期待（ICE）プロットを導入する。特徴量の範囲にわたって各観測値の予測応答をプロットすることで、従来の部分的依存プロット（PDPs）が隠してしまう非一様な関係や相互作用を明らかにし、モデルの挙動に対するより深い洞察を提供するとともに、データ生成過程における加法性の視覚的検定を可能にする。

ABSTRACT

This article presents Individual Conditional Expectation (ICE) plots, a tool for visualizing the model estimated by any supervised learning algorithm. Classical partial dependence plots (PDPs) help visualize the average partial relationship between the predicted response and one or more features. In the presence of substantial interaction effects, the partial response relationship can be heterogeneous. Thus, an average curve, such as the PDP, can obfuscate the complexity of the modeled relationship. Accordingly, ICE plots refine the partial dependence plot by graphing the functional relationship between the predicted response and the feature for individual observations. Specifically, ICE plots highlight the variation in the fitted values across the range of a covariate, suggesting where and to what extent heterogeneities might exist. In addition to providing a plotting suite for exploratory analysis, we include a visual test for additive structure in the data generating model. Through simulated examples and real data sets, we demonstrate how ICE plots can shed light on estimated models in ways PDPs cannot. Procedures outlined are available in the R package ICEbox.

研究の動機と目的

• 平均効果にとどまらない視覚的ツールを提供することで、ブラックボックス機械学習モデルにおける解釈性のギャップを埋める。
• 観測値の平均化によって個別レベルの関係が曇ってしまう部分的依存プロット（PDPs）の限界を克服する。
• 視覚的診断を用いて、フィットしたモデルにおける非一様効果および相互作用構造を特定する手法を開発する。
• 加法的構造か相互作用効果を含むかを評価するための視覚的仮説検定フレームワークを導入する。

提案手法

• ICEプロットは、すべての観測値を平均化するのではなく、関心のある特徴量の周辺分布にわたって個々の観測値の予測応答を可視化する。
• 各観測値について、他の特徴量をその観測値の値に固定したまま、目的特徴量の複数の値におけるモデルの予測を計算する。
• センター化ICE（c-ICE）および微分ICE（d-ICE）プロットは、曲線を平均に対してセンターするか、変化率の挙動を示すことで解釈性を向上させる。
• 実際のICEプロットを加法的モデルの帰無分布と比較することで、非加法的効果の統計的有意性を評価するためのラインナップベースの視覚的検定が提案されている。
• RパッケージICEboxに実装されており、再現可能な解析と標準的なモデリングワークフローへの統合を可能にしている。
• このアプローチはモデルに依存せず、特徴量から予測値への関数 $\hat{f}$ を出力する任意の教師あり学習アルゴリズムに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 平均ベースの部分的依存プロットよりも、ブラックボックスモデルにおける予測子と予測値の個別レベルの関係をどのようにより効果的に可視化できるか？
• RQ2 ICEプロットは、標準的なPDPsが曇らせるモデルの相互作用や非一様性をどのように明らかにするか？
• RQ3 ICEプロットは、真のデータ生成過程が加法的か、相互作用効果を含むかを視覚的に検定するために使用できるか？
• RQ4 ICEプロットは、シャプレイ値や変数重要度指標といった他のモデル解釈ツールと比較して、特徴量効果をどのように捉えているか？
• RQ5 ICEプロットは、モデルの信頼性を損なう可能性のある予測子空間における外挿をどの程度検出・可視化できるか？

主な発見

• ICEプロットは、特に相互作用効果が存在する場合に、部分的依存プロットで隠蔽される予測子と予測値の間の非一様な関係を効果的に明らかにする。
• モデルが関心のある特徴量および他の共変量に関して加法的である場合、ICE曲線は平行に見えるため、観測値間で一貫したマージナル効果が存在することが示される。
• 相互作用が存在する場合、ICE曲線の形状が乖離し、ある特徴量の効果が他の予測子の値に依存することを明確に示す。
• ICEプロットを用いた視覚的ラインナップ検定は、非加法的構造とノイズを区別でき、シミュレーション例では高い識別性（例：図13では100％の正しく識別された例）を示した。
• 実世界のデータ、例えばホワイトワインの品質データセットでは、pHの効果が観測値ごとに顕著に異なることがICEプロットで明らかになり、非加法的相互作用の存在を示唆した。
• ICEbox Rパッケージにより、ICE、c-ICE、d-ICEプロットの生成が可能であり、クラスタリングを用いたパターン検出などの高度な分析もサポートしている。