[논문 리뷰] LMExplainer: Grounding Knowledge and Explaining Language Models

Zichen Chen, Ambuj K. Singh외 4명|arXiv (Cornell University)|2023. 03. 29.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

LMExplainer는 지식 그래프와 그래프 신경망을 사용하여 추론 요소를 추출하고 LM 예측에 대한 자연어 설명을 생성하며, CommonsenseQA에서 최첨단 성능 달성 및 OpenBookQA에서 경쟁력 있는 결과를 제공하는 동시에 왜-선택 및 왜-선택하지 않음 설명을 해석 가능하게 제공한다.

ABSTRACT

Language models (LMs) like GPT-4 are important in AI applications, but their opaque decision-making process reduces user trust, especially in safety-critical areas. We introduce LMExplainer, a novel knowledge-grounded explainer that clarifies the reasoning process of LMs through intuitive, human-understandable explanations. By leveraging a graph attention network (GAT) with a large-scale knowledge graph (KG), LMExplainer not only precisely narrows the reasoning space to focus on the most relevant knowledge but also grounds its reasoning in structured, verifiable knowledge to reduce hallucinations and enhance interpretability. LMExplainer effectively generates human-understandable explanations to enhance transparency and streamline the decision-making process. Additionally, by incorporating debugging into the explanation, it offers expertise suggestions that improve LMs from a developmental perspective. Thus, LMExplainer stands as an enhancement in making LMs more accessible and understandable to users. We evaluate LMExplainer on benchmark datasets such as CommonsenseQA and OpenBookQA, demonstrating that it outperforms most existing methods. By comparing the explanations generated by LMExplainer with those of other models, we show that our approach offers more comprehensive and clearer explanations of the reasoning process. LMExplainer provides a deeper understanding of the inner workings of LMs, advancing towards more reliable, transparent, and equitable AI.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)에 대한 해석 가능한 설명의 필요성을 주의 깊게 제시하기 위해 주의 기반 방법을 넘어선 동기를 제시합니다.
• LMExplainer를 제안하여 LM의 추론을 지식 그래프와 그래프 신경망 프레임워크에 grounding합니다.
• 모델의 추론 과정을 반영하는 인간이 이해할 수 있는 설명 생성을 가능하게 합니다.

제안 방법

• 입력 및 조회된 KG에서 핵심 요소를 추출하여 요소 그래프 G_e를 구성합니다.
• G_e 위의 그래프 주의 네트워크(GAT)를 사용하여 예측 뒤의 이유 요소를 식별합니다.
• 주의 기반 영향 신호를 계산하여 예측을 안내하고 설명을 생성합니다.
• 추출된 구성 요소를 사용하여 GPT-3.5-turbo를 이용한 지시 기반 생성기를 통해 왜-선택 및 왜-선택하지 않음 설명을 생성합니다.
• LM 및 해석 임베딩을 사용한 교차 엔트로피 손실로 올바른 답을 예측하도록 학습합니다.

Figure 1: The LMExplainer architecture. Given a question context $z$ (which includes question $q$ and the set $\mathcal{A}$ of answers), we first generate language embeddings using a pre-trained LM. Simultaneously, it retrieves relevant knowledge from a KG to construct a subgraph (Section 4.1 ). The

실험 결과

연구 질문

• RQ1 LM의 의사결정 과정에 대해 해석 가능하고 자연스러운 설명을 어떻게 제공할 수 있을까?
• RQ2 설명이 언어 모델의 QA 태스크 성능에 영향을 미치는가?
• RQ3 지식 기반 그래프 접근법이 LM 예측에 대해 충실하고 유용한 설명을 제공할 수 있는가?

주요 결과

방법	IHdev-Acc.	IHtest-Acc.
MHGRN (2020)	73.69%	71.08%
KagNet (2019)	73.47%	69.01%
GconAttn (2019)	72.61%	68.59%
RGCN (2018)	72.69%	68.41%
RN (2017)	74.57%	69.08%
GreaseLM (2022)	76.17%	72.60%
QA-GNN (2021)	74.94%	72.36%
LMExplainer (ours)	77.97%	77.31%

• LMExplainer는 CommonsenseQA에서 최첨단 LM+KG 방법을 능가합니다( IHtest에서 77.31% 대 최적의 비-LM-Explainer 베이스라인 71.08% ).
• LMExplainer는 OpenBookQA에서 경쟁력 있는 성능을 달성합니다( 테스트 정확도 68.00% 대 GreaseLM의 70.80%).
• 특히 외부 지식과 해석 구성요소를 도입한 경우 정확도가 크게 향상되며, 해석 구성요소가 성능에 강한 영향을 보입니다.
• 설명에는 순위가 매겨진 이유 요소와 인간이 이해할 수 있는 통찰을 제공하는 왜-선택 및 왜-선택하지 않음 내러티브가 포함됩니다.
• PathReasoner 및 ECQA와 비교하여 LMExplainer는 선택된 답에 대한 전체 추론 경로와 정당화를 제공합니다.