[論文レビュー] Why model why? Assessing the strengths and limitations of LIME

Jürgen Dieber, Sabrina Kirrane|arXiv (Cornell University)|Nov 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 12

ひとこと要約

この論文は、表形式の機械学習モデルの解釈性を高めるためにLIMEの有効性を評価し、標準的な性能指標をはるかに超える解釈性の向上を示している。局所的解釈の観点では有用であるが、本研究は、文書化の不足やグローバル分析のサポートの欠如といった顕著な使いやすさの課題を明らかにし、実用応用におけるユーザー満足度と効率性を損なっている。

ABSTRACT

When it comes to complex machine learning models, commonly referred to as black boxes, understanding the underlying decision making process is crucial for domains such as healthcare and financial services, and also when it is used in connection with safety critical systems such as autonomous vehicles. As such interest in explainable artificial intelligence (xAI) tools and techniques has increased in recent years. However, the effectiveness of existing xAI frameworks, especially concerning algorithms that work with data as opposed to images, is still an open research question. In order to address this gap, in this paper we examine the effectiveness of the Local Interpretable Model-Agnostic Explanations (LIME) xAI framework, one of the most popular model agnostic frameworks found in the literature, with a specific focus on its performance in terms of making tabular models more interpretable. In particular, we apply several state of the art machine learning algorithms on a tabular dataset, and demonstrate how LIME can be used to supplement conventional performance assessment methods. In addition, we evaluate the understandability of the output produced by LIME both via a usability study, involving participants who are not familiar with LIME, and its overall usability via an assessment framework, which is derived from the International Organisation for Standardisation 9241-11:1998 standard.

研究の動機と目的

• 表形式の機械学習モデルの解釈性を高めるためにLIMEの有効性を評価すること。
• 非専門家参加者を対象とした使いやすさ調査を通じて、LIMEの出力の理解可能性を評価すること。
• ISO 9241-11:1998に基づいて、LIMEやその他のxAIフレームワークを評価するための使いやすさ評価フレームワークを開発すること。
• LIMEがモデル評価における従来の性能評価手法を補完する方法を示すこと。
• 特にグローバル解釈と文書化に関して、LIMEの使いやすさの制限要因を特定すること。

提案手法

• 雨天予測データセット上で、最先端の分類モデル4つについて、LIMEのTabularExplainerを適用して予測の解釈を実施した。
• 非専門家参加者を対象とした使いやすさ調査を実施し、LIMEの局所的解釈の理解可能性を評価した。
• 効果性、効率性、満足度に焦点を当てた、ISO 9241-11:1998に基づく使いやすさ評価フレームワークを開発した。
• 個々の予測の解釈による局所的分析と、観測値全体にわたる複数のLIME解釈を統合したグローバル分析を実施した。
• ネイティブなグローバル分析ツールが不足していたため、手動によるデータ集約（例：LIME出力をExcelにコピー）を実施し、グローバルパターンの検出を可能にした。
• セットアップの課題や文書化の欠落を含め、時間、作業負荷、ユーザー体験の観点からツールの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 LIMEは、従来の性能指標と比較して、表形式の機械学習モデルの解釈性をどの程度効果的に向上させるか？
• RQ2 LIMEの出力は、説明可能AIの経験のないユーザーにとってどの程度理解可能か？
• RQ3 LIMEを表形式データに適用するにあたり、特にセットアップ、文書化、グローバル解釈に関して、どのような主な使いやすさの課題があるか？
• RQ4 標準化された使いやすさフレームワークを、LIMEやその他のモデルに依存しない説明可能AIツールの評価にどのように適用できるか？
• RQ5 効率的かつ信頼性のあるグローバルモデル解釈をサポートするため、LIMEの設計にどのような改善が必要か？

主な発見

• LIMEは個々の予測に対する特徴量レベルの解釈を提供することで、標準的な性能指標をはるかに超える洞察をもたらすなど、局所的解釈性を効果的に向上させた。
• 非専門家ユーザーはLIMEの出力を部分的に理解できたが、特徴量と予測の間の関係を解釈する際に、文書化が不明瞭なため困難を抱えた。
• 古くなった文書化とレガシーパッケージの依存関係の問題により、LIMEのセットアップと構成に多大な時間と労力が要された。
• グローバル解釈は特に負担が大きく、複数のLIME解釈を観測値全体にわたって集約・分析するのに数時間の手作業が必要だった。
• ユーザーはLIMEの高速な処理時間とインタラクティブな性質には高い満足度を示したが、標準化されたガイドラインやグローバル分析のサポートの欠如に不満を抱えていた。
• 提案されたISO 9241-11に基づく使いやすさフレームワークは、主な使いやすさの次元を的確に捉え、他のxAIツールのベンチマークに使用可能であることが確認された。