[論文レビュー] Grouped Feature Importance and Combined Features Effect Plot

Quay Au, Julia Herbinger+3 more|arXiv (Cornell University)|Apr 23, 2021

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本稿では、順列、再適合、Shapleyに基づく手法を用いて、特徴量グループへのモデルに依存しない解釈性を拡張するグループ特徴量重要度（GFI）と、結合特徴量効果プロット（CFEP）を導入する。安定的で高パフォーマンスの特徴量グループの組み合わせを特定するための逐次的手順を提案し、シミュレーションおよび心理学データセットを用いた実験により、GFIとCFEPが相関のあるまたは高次元のデータにおいて、単一特徴量の分析が誤解を招く場合に特に解釈性を向上させることを示した。

ABSTRACT

Interpretable machine learning has become a very active area of research due to the rising popularity of machine learning algorithms and their inherently challenging interpretability. Most work in this area has been focused on the interpretation of single features in a model. However, for researchers and practitioners, it is often equally important to quantify the importance or visualize the effect of feature groups. To address this research gap, we provide a comprehensive overview of how existing model-agnostic techniques can be defined for feature groups to assess the grouped feature importance, focusing on permutation-based, refitting, and Shapley-based methods. We also introduce an importance-based sequential procedure that identifies a stable and well-performing combination of features in the grouped feature space. Furthermore, we introduce the combined features effect plot, which is a technique to visualize the effect of a group of features based on a sparse, interpretable linear combination of features. We used simulation studies and a real data example from computational psychology to analyze, compare, and discuss these methods.

研究の動機と目的

• 機械学習モデルにおける特徴量グループの解釈性を高めるためのモデルに依存しない手法の不足に対処すること。
• 順列重要度やShapley値といった既存の単一特徴量の解釈技術を、特徴量グループに拡張すること。
• 安定的で高パフォーマンスの特徴量グループの組み合わせを特定する逐次的手順を開発すること。
• モデルの予測に対する特徴量グループの共同効果を可視化するための結合特徴量効果プロット（CFEP）を導入すること。
• さまざまな相関構造とデータタイプ下でのグループ特徴量重要度手法の性能と信頼性を評価すること。

提案手法

• 順列法および再適合法の両方について、空のモデルから始めるか、完全なモデルから始めるかの2つの戦略を、グループ特徴量重要度に提案する。
• 順列法および再適合法の両方を用いて、特徴量グループのShapleyベースの重要度スコアを導入する。
• 安定性と予測性能に基づいて繰り返しグループを選択する逐次的グループ特徴量重要度手順を開発する。
• 結合特徴量効果プロット（CFEP）を導入し、可視化のための特徴量の解釈可能な線形結合を、教師ありスパース主成分分析（SPCA）を用いて作成する。
• CFEPにおける解釈性とスパarsityを確保するため、次元削減にSPCAを適用し、性能を向上させるために教師ありSPCAを非教師ありSPCAよりも優先する。
• シミュレーションスタディおよび実世界の計算心理学データセットを用いて、提案手法の比較と検証を実施する。

Figure 1 : Sequential grouped feature importance for the simulation in Section 3.1 . 100 times repeated subsampling. Improvement threshold $\delta=0.001$ . Vertical bars show one step of the sequential procedure (left to right). Height of the vertical bars represent the number of subsampling iterati

実験結果

リサーチクエスチョン

• RQ1 順列ベースおよび再適合ベースのグループ特徴量重要度は、どのように正式に定義され、区別されるべきか？
• RQ2 特徴量グループ同士の相関が非常に高い状況において、順列法と再適合法の間で性能にどのような差が生じるか？
• RQ3 高次元設定において、安定的で高パフォーマンスの特徴量グループの組み合わせを信頼性を持って特定できるか？
• RQ4 結合特徴量効果プロット（CFEP）は、非教師ありSPCAと比較して、モデルの予測に対するグループ効果をどのように可視化するか？
• RQ5 グループ特徴量重要度手法が失敗する状況は何か。また、これらの制限はどのように緩和できるか？

主な発見

• グループ間の相関が高い状況では、再適合法が順列法を上回り、より意味的で安定した重要度スコアを生成する。
• 逐次的グループ特徴量重要度手順は、特に異なるデータソースから取得するコストの高いグループにおいても、安定的で高パフォーマンスの特徴量グループの組み合わせを効果的に同定する。
• すべてのグループ特徴量重要度手法、特にShapleyベースおよび順列ベースの手法は、グループ内特徴量の相関が非常に変動する場合、誤った結果を生じる。特にランダムフォレストモデルでは顕著である。
• 特徴量が多いグループは高いグループ特徴量重要度スコアを獲得しがちだが、1特徴量あたりの正規化を行うと最適でないグループ選択が生じるため、GSIは注意深く解釈する必要がある。
• 高階層相互作用が存在しない場合には、単一特徴量のShapley重要度スコアの合計がグループ特徴量Shapley重要度スコアに一致する。これは、提案されたGSI手法の整合性を裏付ける。
• 教師ありSPCAを用いたCFEPは、非教師ありの対応物よりも解釈性が高く、より意味的な可視化を提供する。特に、特徴量グループが予測に与える真の効果を捉える点で優れている。

Figure 2 : Grouped relative importance scores in case of equally sized within-group correlations for random forest (left) and SVM (right). Relative importance is calculated by dividing each of the absolute group importance scores by the importance score of $G_{2}$ . Hence, relative importance of $G_