[論文レビュー] In-Context Explainers: Harnessing LLMs for Explaining Black Box Models

Nicholas Kroeger, Dan Ley+3 more|arXiv (Cornell University)|Oct 9, 2023

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文は、コンテキスト内学習（ICL）を用いて、ブラックボックス機械学習モデルの後処理説明者として大規模言語モデル（LLM）を初めて使用するフレームワークを提案する。4つのプロンプト戦略—摂動ベース、予測ベース、指示ベース、説明ベースのICL—を提案し、LLMが予測の原因となる主な特徴を特定する際、微fine-tuningを必要とせず、わずかなfew-shot例でのみ動作する中で、72.19%の正確性を達成した。これは、最先端の説明手法と同等の性能を示している。

ABSTRACT

Recent advancements in Large Language Models (LLMs) have demonstrated exceptional capabilities in complex tasks like machine translation, commonsense reasoning, and language understanding. One of the primary reasons for the adaptability of LLMs in such diverse tasks is their in-context learning (ICL) capability, which allows them to perform well on new tasks by simply using a few task samples in the prompt. Despite their effectiveness in enhancing the performance of LLMs on diverse language and tabular tasks, these methods have not been thoroughly explored for their potential to generate post hoc explanations. In this work, we carry out one of the first explorations to analyze the effectiveness of LLMs in explaining other complex predictive models using ICL. To this end, we propose a novel framework, In-Context Explainers, comprising of three novel approaches that exploit the ICL capabilities of LLMs to explain the predictions made by other predictive models. We conduct extensive analysis with these approaches on real-world tabular and text datasets and demonstrate that LLMs are capable of explaining other predictive models similar to state-of-the-art post hoc explainers, opening up promising avenues for future research into LLM-based post hoc explanations of complex predictive models.

研究の動機と目的

• LLMがモデルの微fine-tuningやホワイトボックスアクセスを必要とせずに、ブラックボックスモデルの信頼できる後処理説明者として機能できるかどうかを調査すること。
• コンテキスト内学習（ICL）を活用した新しいフレームワークを構築・評価し、忠実で人間が理解可能なモデル予測の説明を生成すること。
• LIME や SHAP などの最先端の後処理説明手法と比較して、LLMが生成する説明の忠実性と正確性を評価すること。
• プロンプト設計、ICLサンプル数、LLMアーキテクチャ（例：GPT-3.5 対 GPT-4）が説明品質に与える影響を分析すること。
• 説明可能AI（XAI）におけるLLMベースの説明フレームワークを評価するためのベンチマークを確立すること。

提案手法

• 摂動情報やモデル挙動に関する情報の提供方法が異なる4つの異なるコンテキスト内学習（ICL）プロンプト戦略—摂動ベースICL、予測ベースICL、指示ベースICL、説明ベースICL—を提案する。
• 実世界のベンチマークデータセットと2つのブラックボックスモデル（例：ロジスティック回帰）を用いて、LLMが生成する説明を評価する。
• 忠実度（FA）、表現正確性（RA）、予測勾配重要度（PGI）といった忠実度メトリクスのスイートを用い、説明品質を定量的に評価する。
• GPT-3.5 と GPT-4 をLLMのバックボーンとして用い、異なるプロンプト戦略とハイパーパrameter設定における性能を比較する。
• ICLサンプル数、摂動フォーマット、温度ハイパーパrameterに対するアブレーションスタディを実施し、感度と最適な設定を評価する。
• LLMベースの説明抽出と評価をフレームワーク内で標準化するためのユーティリティ関数とパーサーを導入する。

Figure 1: Overview of our framework. Given a dataset and model to explain, we provide 1) different prompting strategies to generate explanations using LLMs, 2) functions to parse LLM-based explanations, 3) utility functions to support new LLMs, and 4) diverse performance metrics to evaluate the fait

実験結果

リサーチクエスチョン

• RQ1 LLMは、微fine-tuningを必要とせず、コンテキスト内学習を用いてブラックボックスモデルの後処理説明を効果的に生成できるか？
• RQ2 LLMが生成する説明の性能は、LIME や勾配ベースの手法といった最先端の後処理説明手法と比べてどうか？
• RQ3 コンテキスト内例の数を変化させることで、LLMが生成する説明の忠実度にどのような影響があるか？
• RQ4 異なるプロンプト戦略（例：指示ベース対摂動ベース）が、説明の忠実度と正確性に与える影響は何か？
• RQ5 LLMアーキテクチャの選択（例：GPT-3.5 対 GPT-4）が、生成される説明の品質に顕著な影響を与えるか？

主な発見

• 4つのベンチマークデータセットと2つのブラックボックスモデルを対象に、LLMは平均して72.19%の正確性（top-k=1）を達成し、微fine-tuningを必要とせず、優れた後処理説明者としての性能を示した。
• 説明ベースICLは、入力-出力-説明の三つ組のfew-shot例を提供することで、わずか4つのコンテキスト例でのみ、6つの最先端の説明手法の挙動を模倣できる。
• GPT-4は全メトリクスでGPT-3.5を上回り、AdultデータセットにおいてFaithfulness（FA）で4.53%高い、Representation Accuracy（RA）で48.01%高い結果を示した。これは、GPT-4の優れた推論能力に起因する。
• 少数の例（例：64にまで）を超えてコンテキスト例を増やすと、説明の忠実度が低下する傾向にあり、これは長いプロンプトがLLMの関連情報の抽出能力を損なうことを示している。
• LLMが生成する説明の忠実度はプロンプト設計に敏感である：元のサンプルと摂動されたサンプルの差分を入力として与えることで性能が向上するが、高温度（temperature）の値が高くなると出力品質にほとんど影響しない。
• 指示ベースICLは、表現正確性（RA）の観点で摂動ベースおよび予測ベースICLを上回り、明確で構造化された指示が説明の忠実度を高めることが示された。

Figure 2: PGU and PGI scores of explanations generated using post hoc methods and LLMs (Instruction-based, Prediction-based, and Perturbation-based ICL prompting strategies) for an ANN model. On average, across four datasets, we find that LLM-based explanations perform on par with gradient-based and