[논문 리뷰] Who's Thinking? A Push for Human-Centered Evaluation of LLMs using the XAI Playbook

Teresa Datta, John P. Dickerson|arXiv (Cornell University)|2023. 03. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)의 전략을 응용하여 인간 중심의 대규모 언어 모델(LLM) 평가를 주장한다. 정신 모델, 용도 유용성, 인지적 참여도를 중시하며, LLM은 기술적 지표 외에도 인간의 인지, 편향, 실제 작업에 기반해 평가되어야 한다고 주장한다. 이는 과도한 의존과 환각 현상의 위험을 강조한다.

ABSTRACT

Deployed artificial intelligence (AI) often impacts humans, and there is no one-size-fits-all metric to evaluate these tools. Human-centered evaluation of AI-based systems combines quantitative and qualitative analysis and human input. It has been explored to some depth in the explainable AI (XAI) and human-computer interaction (HCI) communities. Gaps remain, but the basic understanding that humans interact with AI and accompanying explanations, and that humans' needs -- complete with their cognitive biases and quirks -- should be held front and center, is accepted by the community. In this paper, we draw parallels between the relatively mature field of XAI and the rapidly evolving research boom around large language models (LLMs). Accepted evaluative metrics for LLMs are not human-centered. We argue that many of the same paths tread by the XAI community over the past decade will be retread when discussing LLMs. Specifically, we argue that humans' tendencies -- again, complete with their cognitive biases and quirks -- should rest front and center when evaluating deployed LLMs. We outline three developed focus areas of human-centered evaluation of XAI: mental models, use case utility, and cognitive engagement, and we highlight the importance of exploring each of these concepts for LLMs. Our goal is to jumpstart human-centered LLM evaluation.

연구 동기 및 목표

• LLM의 광범위한 대중적 사용에도 불구하고 인간 중심 평가의 부재를 해결하기 위해.
• 현행 LLM 평가 프레임워크에서 인간의 인지, 편향, 실제 의사결정 과정을 간과하는 격차를 규명하기 위해.
• 설명 가능한 인공지능(XAI)에서의 통찰을 LLM에 적용하여, 유사한 인간 중심 평가 원칙이 LLM 개발을 이끌어야 한다고 주장하기 위해.
• LLM 출력물에 대한 검토가 부족한 인지적 참여로 인해 발생하는 위험, 예를 들어 과도한 신뢰와 환각 현상을 부각하기 위해.
• 사용자가 LLM에 대해 어떤 정신 모델을 형성하는지, 실제 작업에서 얼마나 유용한지, 출력물에 얼마나 참여하는지에 대해 연구할 것을 촉구하기 위해.

제안 방법

• XAI 평가 프레임워크—특히 정신 모델, 용도 유용성, 인지적 참여도—를 LLM 평가를 위한 체계적인 접근으로 적응시키기.
• XAI의 인간 중심 평가와 현재 LLM의 상태 사이의 유사성을 비추며, 신뢰성, 해석 가능성, 사용성 측면에서 공통된 과제를 강조하기.
• 이메일 작성 또는 의사결정 지원과 같은 실제 작업에서 LLM의 유용성을 평가하기 위한 용도 기반 사용자 연구를 제안하기.
• 사용자 의존도를 줄이고 오류를 방지하기 위해 사전 점검 작업과 같은 인지적 강제 전략을 도입하기.
• 사용자가 LLM 출력물을 어떻게 해석하고 신뢰하며 상호작용하는지 평가하기 위해 정성적 및 정량적 분석을 활용하기.
• 모델 성능 외에도 인간-AI 상호작용의 역학, 예를 들어 확인 편향과 사용자 의도와의 불일치를 측정하는 것이 중요하다고 강조하기.

실험 결과

연구 질문

• RQ1 일상 사용자들이 LLM이 응답을 생성하는 방식에 대해 어떻게 정신 모델을 형성하는가?
• RQ2 이메일 작성이나 의사결정 지원과 같은 실제 용도에서 LLM이 얼마나 실질적인 유용성을 제공하는가?
• RQ3 LLM 출력물에 대한 인지적 참여도는 사용자 행동, 신뢰도, 오류율에 어떤 영향을 미치는가?
• RQ4 확인 편향과 같은 인지 편향이 사용자가 LLM 출력물을 어떻게 해석하는지에 어떤 영향을 미치는가?
• RQ5 인지적 강제 전략은 LLM 출력물에 대한 사용자 심사 수준을 향상시키고 과도한 의존을 줄이는 데 어떻게 기여하는가?

주요 결과

• 현행 LLM 평가 지표는 인간 중심이 아니며, 인지적 편향, 정신 모델, 실제 사용 가능성까지 고려하지 못한다.
• XAI와 마찬가지로 LLM의 설명에 대한 기준이 없어, 기술적 신뢰성과 강건성만으로는 평가가 부족하다.
• 실제로 LLM 출력물에 대한 인지적 참여도는 낮은 편이며, 특히 시간 압박이나 높은 자신감을 가진 환각 현상이 있을 경우 오류 위험이 증가한다.
• 연구 결과에 따르면 사용자들은 출력물이 잘못되었음에도 불구하고, 특히 자신감 있게 표현된 경우에 LLM을 신뢰하는 경향이 있으며, 이는 '서비스로서의 만스플레인딩'에 비유된다.
• 사용자가 수락하기 전에 출력물을 검증하도록 요구하는 인지적 강제 전략은 성능 향상과 오류 감소에 뚜렷한 효과를 보였다.
• 특히 ChatGPT와 같은 공공용 도구에서의 LLM 배포 규모는 검토되지 않은 인지적 외주화의 위험을 증폭시키며, 이에 따라 인간 중심 평가가 급박하게 필요하다.