[論文レビュー] Have We Learned to Explain?: How Interpretability Methods Can Learn to Encode Predictions in their Interpretations

Neil Jethani, Mukund Sudarshan+2 more|arXiv (Cornell University)|Mar 2, 2021

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本稿では、真のデータ生成分布を近似することで、予測のエンコードを避ける最小で高忠実度の特徴量サブセットを学習する、アモアタイズド解釈手法REAL-xを提案する。予測のエンコードを検出するEVAL-Xを提案し、Chest X-rayデータにおける定量的評価および放射線科医による評価の両面で、REAL-xが既存手法を上回ることを示した。

ABSTRACT

While the need for interpretable machine learning has been established, many common approaches are slow, lack fidelity, or hard to evaluate. Amortized explanation methods reduce the cost of providing interpretations by learning a global selector model that returns feature importances for a single instance of data. The selector model is trained to optimize the fidelity of the interpretations, as evaluated by a predictor model for the target. Popular methods learn the selector and predictor model in concert, which we show allows predictions to be encoded within interpretations. We introduce EVAL-X as a method to quantitatively evaluate interpretations and REAL-X as an amortized explanation method, which learn a predictor model that approximates the true data generating distribution given any subset of the input. We show EVAL-X can detect when predictions are encoded in interpretations and show the advantages of REAL-X through quantitative and radiologist evaluation.

研究の動機と目的

• アモアタイズド解釈手法（AEMs）において、予測が特徴量の解釈に意図せず埋め込まれる問題に対処すること。
• 予測がエンコードされているかどうかを検出するのではなく、特徴量の重要度を忠実に反映する解釈を評価するための手法を開発すること。
• 真のデータ生成分布を推定した下で、尤度を最大化する最小特徴量サブセットを学習するAEM、REAL-xを提案すること。
• 医療画像データにおける定量的評価と専門家による評価を通じて、解釈の忠実度と臨床的妥当性を向上させること。
• AEMsにおけるセレクタと予測モデルの共同学習が、分布シフトに起因して誤解を招く解釈を生む可能性があることを示すこと。

提案手法

• EVAL-Xは、任意の入力特徴サブセットに対して、ターゲットの真のデータ生成分布を近似するモデルを訓練することで、解釈を評価する手法として導入される。
• REAL-xは、推定された真の分布の下で尤度が最も高い最小特徴量サブセットを特定するグローバルセレクタモデルを学習するアモアタイズド解釈手法である。
• REAL-xのセレクタモデルは、選択された特徴量サブセットの下でターゲットの尤度を最大化するように訓練され、真のデータ生成プロセスへの忠実度が保証される。
• 1回の順方向伝播で推論が可能であり、高速な推論が実現可能であり、真の条件付き分布をモデル化することで分布外入力を回避する。
• REAL-xの予測モデルは、マスクされた入力からのモデル予測に依存するのではなく、任意の特徴量サブセットSについて真の条件付き分布P(y|S)を近似するように訓練される。
• ハイパーパrameterは、特徴量数を最小限に抑えつつ、フル特徴量モデルの精度の少なくとも95％を維持するように調整される。

実験結果

リサーチクエスチョン

• RQ1 アモアタイズド解釈手法が出力する解釈に予測がエンコードされているかどうかを検出することは可能か？
• RQ2 L2X や Invase などの共同アモアタイズド解釈手法（JAMs）は、真の特徴量重要度を反映するのではなく、予測をエンコードした特徴量選択を行っているのか？
• RQ3 真のデータ生成分布からの学習によって、予測エンコードを回避する解釈手法を設計可能か？
• RQ4 REAL-xの解釈の忠実度は、定量的評価および臨床的評価の両面で、既存手法と比較してどの程度優れているか？
• RQ5 放射線科医は、L2X や Invase や BASE-x の解釈よりも、REAL-xの解釈をより臨床的に意味のあるものと見なすか？

主な発見

• EVAL-Xは、解釈が分布外の入力やモデルのアーチファクトに依存しているかどうかを評価することで、解釈に予測エンコードが存在するかどうかを効果的に検出できた。
• REAL-xはChest X-rayデータで75.0％の精度を達成し、特徴量を少なくしたにもかかわらず、ベースライン手法と同等またはそれを上回った。
• 事後評価では、REAL-xはe-acc 70.3％、e-auroc 0.777を達成し、L2X（54.0％ e-acc）やInvase（52.3％ e-acc）を顕著に上回った。
• 放射線科医はREAL-xを最も臨床的に意味のある手法と評価し、平均順位1.08を記録した。これはL2X（3.57）やInvase（2.85）よりも顕著に優れていた。
• MNISTでは、L2Xが1つの選択された画素で96.0％の精度を達成しており、二値特徴選択によって予測がエンコードされる可能性があることを示した。
• 本研究では、JAMsにおける共同学習により、予測モデルがセレクタに適合して共に最適化されることで、真の特徴量重要度を反映しない誤解を招く解釈が生じる可能性があることが示された。