[論文レビュー] LMExplainer: Grounding Knowledge and Explaining Language Models

Zichen Chen, Ambuj K. Singh+4 more|arXiv (Cornell University)|Mar 29, 2023

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

LMExplainer は知識グラフとグラフニューラルネットワークを用いて reason-elements を抽出し、LM の予測に対する自然言語の説明を生成します。CommonsenseQA で最先端の結果を達成し、OpenBookQA でも競争力のある結果を示しつつ、why-choose および why-not-choose の説明を解釈可能に提供します。

ABSTRACT

Language models (LMs) like GPT-4 are important in AI applications, but their opaque decision-making process reduces user trust, especially in safety-critical areas. We introduce LMExplainer, a novel knowledge-grounded explainer that clarifies the reasoning process of LMs through intuitive, human-understandable explanations. By leveraging a graph attention network (GAT) with a large-scale knowledge graph (KG), LMExplainer not only precisely narrows the reasoning space to focus on the most relevant knowledge but also grounds its reasoning in structured, verifiable knowledge to reduce hallucinations and enhance interpretability. LMExplainer effectively generates human-understandable explanations to enhance transparency and streamline the decision-making process. Additionally, by incorporating debugging into the explanation, it offers expertise suggestions that improve LMs from a developmental perspective. Thus, LMExplainer stands as an enhancement in making LMs more accessible and understandable to users. We evaluate LMExplainer on benchmark datasets such as CommonsenseQA and OpenBookQA, demonstrating that it outperforms most existing methods. By comparing the explanations generated by LMExplainer with those of other models, we show that our approach offers more comprehensive and clearer explanations of the reasoning process. LMExplainer provides a deeper understanding of the inner workings of LMs, advancing towards more reliable, transparent, and equitable AI.

研究の動機と目的

• 注意ベースの手法を超える大規模言語モデル（LLM）に対する解釈可能な説明の必要性を動機づける。
• LMExplainer を提案し、LM の推論を知識グラフとグラフニューラルネットワークの枠組みに grounding する。
• モデルの推論過程を反映した人間が理解できる説明の生成を可能にする。

提案手法

• 入力と取得済みの KG から重要な要素を抽出して element-graph G_e を構築する。
• G_e 上の Graph Attention Network（GAT）を用いて予測の背後にある reason-elements を特定する。
• 推論を導くための注意信号を計算し、予測をガイドすると同時に説明を生成する。
• 抽出された成分を用いて、GPT-3.5-turbo を利用する命令ベースの生成器で why-choose および why-not-choose の説明を生成する。
• LM および解釈埋め込みを用いたクロスエントロピーロスで正解を予測するよう訓練する。

Figure 1: The LMExplainer architecture. Given a question context $z$ (which includes question $q$ and the set $\mathcal{A}$ of answers), we first generate language embeddings using a pre-trained LM. Simultaneously, it retrieves relevant knowledge from a KG to construct a subgraph (Section 4.1 ). The

実験結果

リサーチクエスチョン

• RQ1 LM の意思決定プロセスに対して、解釈可能で自然な説明をどのように提供できるか。
• RQ2 説明を提供することは QA タスクにおける言語モデルの性能に影響を与えるか。
• RQ3 知識 grounding を用いたグラフアプローチは LM の予測に対して忠実で有用な説明を生み出せるか。

主な発見

Method	IHdev-Acc.	IHtest-Acc.
MHGRN (2020)	73.69%	71.08%
KagNet (2019)	73.47%	69.01%
GconAttn (2019)	72.61%	68.59%
RGCN (2018)	72.69%	68.41%
RN (2017)	74.57%	69.08%
GreaseLM (2022)	76.17%	72.60%
QA-GNN (2021)	74.94%	72.36%
LMExplainer (ours)	77.97%	77.31%

• LMExplainer は CommonsenseQA において最先端の LM+KG 手法を上回り（IHtest が 77.31% 対して 71.08% のベースライン最良）、競争的な結果を示す。
• LMExplainer は OpenBookQA で競争力のある性能を達成（Test-Acc 68.00% 対 GreaseLM の 70.80%）。
• アブレーション実験では外部知識の組み込みと解釈部の統合が精度を有意に改善し、解釈部がパフォーマンスに大きな影響を与えることを示した。
• 説明にはランク付けされた reason-elements と human が理解しやすい洞察を提供する why-choose および why-not-choose の語りが含まれる。
• PathReasoner および ECQA と比較して、LMExplainer は選択された回答の完全な推論経路と正当化を提供する。