[論文レビュー] OptiLIME: Optimized LIME Explanations for Diagnostic Computer Algorithms

Giorgio Visani, E. Bagli+1 more|arXiv (Cornell University)|Jun 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 18

ひとこと要約

OptiLIMEは、元のモデルへの適合性と説明の信頼性のバランスを取るためにカーネル幅を最適化することで、診断用機械学習モデルの説明におけるLIMEの安定性を向上させる画期的なフレームワークである。ベイズ最適化を用いて自動的に最良のカーネル幅を選択し、安定的で解釈可能かつ数学的に透明な説明を実現する。特に高リスクな医療応用において価値がある。

ABSTRACT

Local Interpretable Model-Agnostic Explanations (LIME) is a popular method to perform interpretability of any kind of Machine Learning (ML) model. It explains one ML prediction at a time, by learning a simple linear model around the prediction. The model is trained on randomly generated data points, sampled from the training dataset distribution and weighted according to the distance from the reference point - the one being explained by LIME. Feature selection is applied to keep only the most important variables. LIME is widespread across different domains, although its instability - a single prediction may obtain different explanations - is one of the major shortcomings. This is due to the randomness in the sampling step, as well as to the flexibility in tuning the weights and determines a lack of reliability in the retrieved explanations, making LIME adoption problematic. In Medicine especially, clinical professionals trust is mandatory to determine the acceptance of an explainable algorithm, considering the importance of the decisions at stake and the related legal issues. In this paper, we highlight a trade-off between explanation's stability and adherence, namely how much it resembles the ML model. Exploiting our innovative discovery, we propose a framework to maximise stability, while retaining a predefined level of adherence. OptiLIME provides freedom to choose the best adherence-stability trade-off level and more importantly, it clearly highlights the mathematical properties of the retrieved explanation. As a result, the practitioner is provided with tools to decide whether the explanation is reliable, according to the problem at hand. We extensively test OptiLIME on a toy dataset - to present visually the geometrical findings - and a medical dataset. In the latter, we show how the method comes up with meaningful explanations both from a medical and mathematical standpoint.

研究の動機と目的

• ランダムサンプリングに起因する同一予測に対する一貫性の欠如によるLIMEの不安定性を解消すること。
• 医療分野におけるLIME説明の信頼性を高め、モデル適合性を損なわずに安定性を向上させること。
• 説明の安定性と元の機械学習モデルへの適合性の最適なトレードオフをとる、原則に基づいた手法を実践者に提供すること。
• 臨床意思決定と責任の所在を支援する、透明性があり数学的に根拠のある説明を可能にすること。
• ユーザーが定めた適合度のしきい値に基づいてカーネル幅の選択を自動化するフレームワークを開発し、使いやすさと信頼性を向上させること。

提案手法

• LIMEをコアコンポonentに分解：サンプリング、重み付け、特徴選択、局所線形モデルフィッティング。
• ベイズ最適化を用いて、安定性を最大化しつつ所定の適合度（R² ≥ 0.9）を維持する最適なカーネル幅を探索する。
• リッジ正則化を標準線形回帰に置き換え、より良い性能を示し、不必要な正則化を回避することを実証。
• 分散に基づくインデックス（VSIおよびCSI）を用いて、複数回の実行における説明の一貫性を定量化し、安定性を定義。
• ユーザー定義の適合度しきい値（例：R² ≥ 0.9）を定義し、最適化を元のモデルの局所的挙動をよく再現する説明に制限。
• 可視化のためのトイデータセットと、実際の医療データセット（NHANES）の両方を用いて、性能と臨床的妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 LIMEにおけるカーネル幅の選択が、局所的説明の安定性と適合性に与える影響は何か？
• RQ2 自動化されたフレームワークが、説明の安定性と元のモデルへの適合性の間で望ましいトレードオフを達成できるか？
• RQ3 リッジ正則化はLIMEの性能にどのような影響を及ぼし、安定的かつ正確な説明のために必要か？
• RQ4 OptiLIMEは、実世界の医療データセットにおいて、安定的で信頼性があり臨床的に意味のある説明をどの程度生成できるか？
• RQ5 異なる個人（例：高齢者対若年層）は、局所モデル挙動に基づいてどのように説明感受性に差を示すか？

主な発見

• OptiLIMEは、ユーザーが要求するR² = 0.9以上の適合度を維持しつつ、高い安定性（VSIおよびCSI値が低い）を達成した。
• あるインスタンスにおける最適なカーネル幅は、元の機械学習モデルの局所的非線形性に依存し、より複雑な領域では狭いカーネル幅が適している。
• ユニット100（年齢65歳）では、ユニット7207（年齢49歳）よりも最適なカーネル幅が高かった。これは前者の局所的非線形性が低いためである。
• 小さなカーネル幅は適合度の高い説明をもたらすが、安定性を低下させる。したがって、適合性と一貫性のトレードオフが確認された。
• LIMEにおけるリッジ正則化は不必要で、むしろ有害である。単純な線形回帰は、適合度と安定性の両面で優れていることが示された。
• OptiLIMEは実行間の説明の一貫性を低下させた。4コアのラップトップを用いたp=10、m=30のベイズサーチパラメータで、1インスタンスあたりの計算時間は123〜147秒であった。