[論文レビュー] Causal Interpretability for Machine Learning -- Problems, Methods and Evaluation

Raha Moraffah, Mansooreh Karami+3 more|arXiv (Cornell University)|Mar 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 99被引用数 13

ひとこと要約

この論文は、反事後的推論と因果推論を活用することで、モデル意思決定に関する「なぜ」および「もし～なら」の質問に答えられる、因果的解釈可能性を機械学習のフレームワークとして導入する。本論文は、反事後的例、モデルベース分析、公平性評価、因果関係の検証を含む因果的解釈可能性手法の分類を提案し、忠実度、多様性、忠実性、因果的公平性のメトリクスを用いた包括的な評価フレームワークを提供する。

ABSTRACT

Machine learning models have had discernible achievements in a myriad of applications. However, most of these models are black-boxes, and it is obscure how the decisions are made by them. This makes the models unreliable and untrustworthy. To provide insights into the decision making processes of these models, a variety of traditional interpretable models have been proposed. Moreover, to generate more human-friendly explanations, recent work on interpretability tries to answer questions related to causality such as "Why does this model makes such decisions?" or "Was it a specific feature that caused the decision made by the model?". In this work, models that aim to answer causal questions are referred to as causal interpretable models. The existing surveys have covered concepts and methodologies of traditional interpretability. In this work, we present a comprehensive survey on causal interpretable models from the aspects of the problems and methods. In addition, this survey provides in-depth insights into the existing evaluation metrics for measuring interpretability, which can help practitioners understand for what scenarios each evaluation metric is suitable.

研究の動機と目的

• 従来の解釈可能なモデルが観察された相関関係でのみ意思決定を説明するという限界を是正するため。
• 特徴量やモデル構成の仮想的変更に対する「もし～なら」の質問に答えられる、因果的解釈可能性を新たなパラダイムとして導入するため。
• 反事後的生成、モデル構成要因分析、公平性評価、因果関係の検証を含む、因果的解釈可能性手法の体系的分類を提供するため。
• 忠実度、多様性、忠実性、因果的公平性といった異なる特性に特化したメトリクスを用いて、因果的解釈可能性手法を評価するため。
• 特定の使用事例や仮想的シナリオ下でのモデル挙動に基づいて、適切な評価メトリクスの選定を実務家にガイドするため。

提案手法

• 因果的解釈可能性を4つのタイプに分類する：反事後的例、モデルベースの解釈可能性、因果的公平性モデル、因果関係の検証。
• 因果推論からの反事後的分析を用いて、モデルの予測を変える仮想入力を生成し、「もし～なら」の推論を可能にする。
• L2やハミング距離などの距離メトリクスを用いて、生成された反事後的例の忠実度と多様性を測定し、多様性は反事後的例同士の平均ペアワイズ距離として計算する。
• 勾配ベース最適化を用いて反事後的例を効率的に生成し、所要時間と勾配更新回数を用いて速度を測定する。
• 視覚的・言語的反事後的例のためのメトリクスを導入し、視覚的領域と言語的説明の間の一致度をIoUベースの正確性と一貫性で評価する。
• 因果効果推定（例：平均因果効果）を用いてモデル構成要因の重要性を評価し、アトリビューションマップの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、相関関係を超えて、仮想的状況における「もし～なら」のシナリオに答える説明をどのように提供できるか？
• RQ2 因果的解釈可能性の主な手法的カテゴリーは何であり、従来の解釈可能なモデルとはどのように異なるか？
• RQ3 忠実度、多様性、忠実性の観点から、反事後的説明の質を評価するのに最も適した評価メトリクスは何か？
• RQ4 因果的解釈可能性は、モデル意思決定におけるバイアスや差別的要因を検出し、説明するためにどのように応用できるか？
• RQ5 モデルベースの因果的解釈可能性および因果的公平性の評価における課題は何か、そしてそれらはどのように解決できるか？

主な発見

• 因果的解釈可能性は、入力特徴量やモデル構成要因を変更する反事後的例を生成することで、モデルが『なぜ』および『もし～なら』の質問に答えることを可能にする。
• 反事後的生成手法は、忠実度と多様性に優れ、多様性は生成された反事後的例同士の平均ペアワイズ距離として測定される。
• 視覚的および言語的説明の整合性を検証するために、IoUおよび正確性のメトリクスがマルチモーダル反事後的例に用いられる。
• モデルベースの因果的解釈可能性は、因果効果推定（例：ACE）を用いて影響力のある要因を同定し、サリエンシー図は局所的な意思決定ルールを可視化する。
• 因果的公平性評価は、直接的効果、間接的効果、誤った効果の分解に依存するが、まだ標準化された定量的メトリクスは存在しない。
• 本サーベイは、評価における重要なギャップを特定した：因果的公平性を評価するための統一的かつ真の基準に基づくメトリクスが存在しないことから、分野における未解決の課題が浮き彫りになった。