[論文レビュー] The Challenge of Imputation in Explainable Artificial Intelligence Models

Muhammad Aurangzeb Ahmad, Carly Eckert+1 more|arXiv (Cornell University)|Jul 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 7

ひとこと要約

本稿は、医療などハイリスク分野における解釈可能AI（XAI）モデルで補完データを使用するリスクを調査している。補完値は、モデルの整合性と安全性を損なう誤解を招く反事実的説明を生じさせる可能性がある。本稿では、補完がバイアスをもたらし、説明の信頼性を低下させると指摘し、透明性のある注意喚起、ドメインに配慮した補完、必要に応じて説明可能性よりもモデルの保証を優先するべきであると提言している。

ABSTRACT

Explainable models in Artificial Intelligence are often employed to ensure transparency and accountability of AI systems. The fidelity of the explanations are dependent upon the algorithms used as well as on the fidelity of the data. Many real world datasets have missing values that can greatly influence explanation fidelity. The standard way to deal with such scenarios is imputation. This can, however, lead to situations where the imputed values may correspond to a setting which refer to counterfactuals. Acting on explanations from AI models with imputed values may lead to unsafe outcomes. In this paper, we explore different settings where AI models with imputation can be problematic and describe ways to address such scenarios.

研究の動機と目的

• 機械学習のデータセットにおける補完が、ハイリスク分野におけるモデル説明の整合性と安全性をどのように損なうかを特定すること。
• 補完値が反事実的または臨床的に不条理な説明を生じさせ、特に臨床医など最終ユーザーを誤導する状況を分析すること。
• 欠損データのメカニズム（MCAR、MAR、NMAR）がXAIシステムにおける説明の信頼性と公平性に与える影響を評価すること。
• 補完の処理に関する運用戦略を評価すること。具体的には、注意喚起、ユーザー教育、リスクに基づく設計選択の手法を含む。
• 特に補完がバイアスや誤った仮定をもたらす場合に、モデルの説明可能性がモデルの安全性を上回るべきではないことを強調すること。

提案手法

• 76,000人の患者から得た実世界の医療データを用い、補完がモデル説明に与える影響をシミュレートする。
• ブラックボックスモデル（例：XGBoost）を補完済みデータで学習させ、その後、LIME やシャープレイ値といった後処理説明手法を適用して解釈する。
• 欠損データのメカニズム（MCAR、MAR、NMAR）を分類し、それらが説明の質とバイアスに与える影響を評価する。
• 複数の補完法（MICE）および3D-MICEを用いて欠損値を処理し、それらが説明の整合性に与える影響を分析する。
• 木ベースのモデル（例：XGBoost）におけるデフォルトの欠損値処理方法が、欠損値を学習された方向として扱うが、テストデータの欠損パターンが学習データと異なる場合、説明の品質が低下する可能性があることを分析する。
• 注意喚起、ユーザー教育、説明可能性よりもモデル保証を優先するリスクベースの設計を含む運用フレームワークを提言する。

実験結果

リサーチクエスチョン

• RQ1 訓練データにおける欠損値の補完が、XAIにおけるモデル説明の整合性と解釈可能性にどのように影響を与えるか。
• RQ2 補完値が医療AIシステムにおいて反事実的または臨床的に不条理な説明を生じさせる方法は何か。
• RQ3 異なる欠損データメカニズム（MCAR、MAR、NMAR）がXAI説明の信頼性と公平性に与える影響は何か。
• RQ4 ハイリスク分野（例：医療や刑事司法）において、補完済みデータから得た説明に依存することによる安全上のリスクと倫理的リスクは何か。
• RQ5 組織は、補完が存在する状況において、どのようにXAI説明を運用し、信頼を維持するとともに有害な意思決定を防ぐことができるか。

主な発見

• モデル説明における補完値は、実際には実施されていない検査や臨床的要因を参照する説明を生じさせ、誤解を招く、あるいは意味のない解釈を生じさせる可能性がある。
• 補完済みデータに基づく説明は、実際の患者歴と矛盾する場合があり、臨床医がAIシステムに信頼を寄せにくくなる。
• 非無視的欠損（NMAR）設定では、補完値が現実の状況を反映していないため、顕著なバイアスが生じ、説明の整合性が低下する。
• XGBoostなどの木ベースのモデルは、欠損値を学習されたデフォルト方向として処理するが、テストデータの欠損パターンが学習データと異なる場合、性能と説明品質が劣化する可能性がある。
• 補完は、保護対象グループ（例：人種、性別）に対してバイアスを導入または強化する可能性があり、XAIシステムにおける公平性を損なう。
• 本稿は、補完が高リスクをもたらす場合には、モデルの保証と安全性を説明可能性よりも優先すべきであり、自動化バイアスを軽減するための注意喚起とユーザー教育を推奨すると結論づけている。