[논문 리뷰] Beware the Rationalization Trap! When Language Model Explainability Diverges from our Mental Models of Language

Rita Sevastjanova, Mennatallah El‐Assady|arXiv (Cornell University)|2022. 07. 14.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 언어 모델의 해석 가능성에 있어, 모델의 행동과 인간의 언어에 대한 정서적 모델 간의 불일치로 인해 해로운 합리화가 발생할 수 있음을 주장한다. 이는 사용자의 인지적 모델에 맞춘 고해상도이자 완전한 설명이 필요하며, 진실된 이해를 보장하기 위해 적응형, 대조형, 협업형 설명 전략을 통해 오해를 방지하는 인간 중심의 프레임워크를 제안한다.

ABSTRACT

Language models learn and represent language differently than humans; they learn the form and not the meaning. Thus, to assess the success of language model explainability, we need to consider the impact of its divergence from a user's mental model of language. In this position paper, we argue that in order to avoid harmful rationalization and achieve truthful understanding of language models, explanation processes must satisfy three main conditions: (1) explanations have to truthfully represent the model behavior, i.e., have a high fidelity; (2) explanations must be complete, as missing information distorts the truth; and (3) explanations have to take the user's mental model into account, progressively verifying a person's knowledge and adapting their understanding. We introduce a decision tree model to showcase potential reasons why current explanations fail to reach their objectives. We further emphasize the need for human-centered design to explain the model from multiple perspectives, progressively adapting explanations to changing user expectations.

연구 동기 및 목표

• 모델 행동과 인간의 직관 간의 불일치로 인한 언어 모델 설명의 해로운 합리화 위험을 해결하기 위해.
• 효과적인 해석 가능성에 필요한 세 가지 핵심 조건을 규명하기 위해: 높은 정밀도, 완전성, 사용자 정서적 모델과의 일치.
• 사용자의 이해를 점진적으로 보정하는 적응형, 다중 시각적 설명 방법을 제안하기 위해.
• 오해를 바로잡고 사용자 이해를 향상시키기 위해 대조형 및 인간 유사 설명의 필요성을 강조하기 위해.
• 사용자의 이해에 따라 진화하는 협업형 및 상호작용형 설명 시스템을 지지하기 위해.

제안 방법

• 사용자의 이해를 주기적인 점검과 피드백 루프를 통해 검증하는 설명 시스템 설계를 통해 오해를 탐지하고 수정하기 위해.
• 현재 설명 방법이 실패하는 이유를 진단하기 위해 의사결정 트리 모델을 구현하며, 정밀도, 완전성, 사용자 모델 일치도에 초점을 맞추기 위해.
• 사용자 반응과 정서적 모델의 진화에 따라 동적으로 설명을 조정하는 공진화 가이드라인 전략을 통합하기 위해.
• 사용자가 강한 사전 지식을 가지고 있을 경우, 특히 다양한 시각에서 모델 행동을 드러내기 위해 대조형 및 하향식 설명 기법을 사용하기 위해.
• 모델 특징을 자연어로 번역하여 시각화 및 의사결정 논리에 대한 비전문가 접근성을 높이기 위해 인간 유사 설명을 개발하기 위해.
• 작은 설명자 유닛으로 구성된 모듈러한 XAI 파이프라인을 구축하여 점진적이고 작업 중심의 설명 개발을 지원하기 위해.

실험 결과

연구 질문

• RQ1 언어 모델 학습 방식(형식 중심)과 인간의 언어 정서적 모델 간의 괴리가 어떻게 설명에서 해로운 합리화를 유도하는가?
• RQ2 언어 모델 행동에 대한 진실된 이해를 달성하기 위해 어떤 조건이 필수적인가?
• RQ3 진화하는 사용자 정서적 모델에 적응할 수 있도록 설명 시스템을 어떻게 설계할 수 있는가? 그리고 오해를 방지하기 위해선 어떻게 해야 하는가?
• RQ4 현재의 설명 방법은 왜 사용자에게 제공되는 설명에서 완전성과 정밀도를 확보하지 못하는가?
• RQ5 대조형 및 협업형 설명 접근 방식은 사용자의 정확도를 높이고 합리화를 줄이는 데 어떻게 기여하는가?

주요 결과

• 정밀도나 완전성이 떨어지는 설명은 사용자가 잘못된 가정으로 빈자리를 메워 해로운 합리화를 초래한다.
• 현재의 설명 방법은 사용자의 언어에 대한 사전 정서적 모델을 고려하지 않기 때문에 종종 사용자 이해를 높이지 못한다.
• 높은 정밀도와 완전성은 필요하지만 충분하지 않으며, 사용자의 인지적 프레임워크와 일치해야만 진실된 이해를 확보할 수 있다.
• 사용자 이해를 검증하고 그에 따라 설명을 조정하는 적응형 설명 시스템은 오해의 위험을 크게 줄인다.
• 대조형 및 하향식 설명 접근 방식은 특히 잘못된 강한 가정을 가진 사용자가 자신의 정서적 모델을 보정하는 데 도움이 된다.
• 모델 특징을 자연어로 번역하는 인간 유사 설명은 비전문가 사용자에게 접근성과 이해도를 향상시킨다.