[論文レビュー] Trying to Outrun Causality with Machine Learning: Limitations of Model Explainability Techniques for Identifying Predictive Variables

Matthew J. Vowels|arXiv (Cornell University)|Feb 20, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文は、機械学習の解釈可能性技術—たとえばランダムフォレストにおける変数の重要度やニューラルネットワークにおけるシャープレイ値—が、データの背後にある因果構造のため、予測に重要な変数を誤って特定してしまう可能性があることを示している。これは、それらの変数が結果と強く相関している場合でも同様である。主な貢献は、科学的発見の目的でこれらの手法を使用すべきでないという警告であり、代わりに相互情報量と因果発見手法を用いるべきであると提言している。

ABSTRACT

Machine Learning explainability techniques have been proposed as a means of `explaining' or interrogating a model in order to understand why a particular decision or prediction has been made. Such an ability is especially important at a time when machine learning is being used to automate decision processes which concern sensitive factors and legal outcomes. Indeed, it is even a requirement according to EU law. Furthermore, researchers concerned with imposing overly restrictive functional form (e.g., as would be the case in a linear regression) may be motivated to use machine learning algorithms in conjunction with explainability techniques, as part of exploratory research, with the goal of identifying important variables which are associated with an outcome of interest. For example, epidemiologists might be interested in identifying `risk factors' - i.e. factors which affect recovery from disease - by using random forests and assessing variable relevance using importance measures. However, and as we demonstrate, machine learning algorithms are not as flexible as they might seem, and are instead incredibly sensitive to the underling causal structure in the data. The consequences of this are that predictors which are, in fact, critical to a causal system and highly correlated with the outcome, may nonetheless be deemed by explainability techniques to be unrelated/unimportant/unpredictive of the outcome. Rather than this being a limitation of explainability techniques per se, we show that it is rather a consequence of the mathematical implications of regression, and the interaction of these implications with the associated conditional independencies of the underlying causal structure. We provide some alternative recommendations for researchers wanting to explore the data for important variables.

研究の動機と目的

• 機械学習モデルにおける真の予測変数を特定する際のモデル解釈可能性技術の限界を調査すること。
• 柔軟性に富んだ機械学習モデルであっても、データの背後にある因果構造に敏感であることが示され、重要度ランク付けが誤解を招く原因となること。
• 解釈可能性手法が、科学的探索の文脈で統計的・予測的関連性を信頼できる形で明らかにできるという一般的な仮定に疑問を呈すること。
• 探索的データ分析の段階で重要な変数を同定したい研究者に実用的な代替手法を提供すること。
• 構造的依存関係を考慮しないままブラックボックスの機械学習モデルを因果的または予測的推論の代理として用いることに対する警告を発すること。

提案手法

• 既知の因果グラフから生成された合成データを用いて、さまざまな条件付き独立構造を模擬する。
• ランダムフォレストの重要度スコアとニューラルネットワークからのシャープレイ値を用いて、異なる因果構成における変数重要度を評価する。
• モデルベースの重要度測定値を、真のデータ生成過程から導かれた真の統計的依存関係と比較する。
• 関数形を仮定しない非パラメトリックな統計的依存の測定として、相互情報量を用いて関連する変数を同定する。
• 条件付き独立性と尤度スコアを用いた因果構造学習に基づく因果発見手法を推奨し、変数選択を支援する。
• 因果グラフ構造を系統的に変化させることで、構造的依存関係がモデル解釈可能性の結果に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストの重要度やシャープレイ値といったモデル解釈可能性技術は、因果的に関連する変数であっても、結果と強く相関している場合に、それが統計的に相関していることを信頼できる形で特定できるだろうか？
• RQ2 データの背後にある因果構造は、解釈可能性手法が重要な予測変数を特定する能力にどのように影響を与えるか？
• RQ3 線形モデル、ランダムフォレスト、ニューラルネットワークは、データ内の構造的依存関係に対してどの程度感度を示すか？
• RQ4 条件付き独立性にだまされない、より信頼性の高い予測変数の同定が可能な代替手法は存在するか？
• RQ5 因果発見手法は、探索的研究の文脈で関連する変数をよりよく同定できるか？

主な発見

• ランダムフォレストの重要度測定は、データ内に複雑な条件付き独立構造がある場合、結果と強く相関しているにもかかわらず、変数を「重要でない」と誤って分類することが頻繁に起こる。
• ニューラルネットワークにおけるシャープレイ値解釈も、構造的感度に苦しむが、因果グラフが既知の状況ではランダムフォレストよりも予測可能である。
• 線形回帰係数は真の因果構造と整合的であるが、非線形依存関係を捉える能力に限界があるため、解釈可能性と柔軟性の間のトレードオフが浮き彫りになる。
• 本研究では、解釈可能性手法がデータの背後にある因果構造に依存しないため、科学的発見には信頼できないことが判明した。
• 相互情報量は、関数形やパラメトリックな分布仮定を仮定しない非パラメトリックな統計的依存の検出に優れた代替手段を提供する。
• 条件付き独立性と尤度に基づく構造学習を統合した因果発見手法は、初期段階の研究において関連する変数をより信頼性高く同定するためのより良い道筋を提供する。