[논문 리뷰] Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations

Yanda Chen, Ruiqi Zhong외 6명|arXiv (Cornell University)|2023. 07. 17.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어모델(LM) 설명이 인간이 모델 행동에 대한 정확한 정신 모델을 구축하는 데 도움이 되는지 평가하기 위한 새로운 평가 프레임워크인 반사적 재현 가능성(counterfactual simulatability)을 소개한다. 설명 기반으로 반사적 입력을 생성하고 실제 LLM 출력과 대비해 인간의 추론 정확도를 측정함으로써, 저자들은 GPT-4와 GPT-3.5의 설명이 이진 작업에서 80%의 정밀도를 보이며, 정밀도와 타당성 간 상관관계가 없음을 발견했다. 이는 RLHF 기반 최적화가 재현 가능성 향상에 기여하지 않을 수 있음을 시사한다.

ABSTRACT

Large language models (LLMs) are trained to imitate humans to explain human decisions. However, do LLMs explain themselves? Can they help humans build mental models of how LLMs process different inputs? To answer these questions, we propose to evaluate $ extbf{counterfactual simulatability}$ of natural language explanations: whether an explanation can enable humans to precisely infer the model's outputs on diverse counterfactuals of the explained input. For example, if a model answers "yes" to the input question "Can eagles fly?" with the explanation "all birds can fly", then humans would infer from the explanation that it would also answer "yes" to the counterfactual input "Can penguins fly?". If the explanation is precise, then the model's answer should match humans' expectations. We implemented two metrics based on counterfactual simulatability: precision and generality. We generated diverse counterfactuals automatically using LLMs. We then used these metrics to evaluate state-of-the-art LLMs (e.g., GPT-4) on two tasks: multi-hop factual reasoning and reward modeling. We found that LLM's explanations have low precision and that precision does not correlate with plausibility. Therefore, naively optimizing human approvals (e.g., RLHF) may not be a sufficient solution.

연구 동기 및 목표

• 대규모 언어모델(LM)의 자연어 설명이 인간이 반사적 입력에서 모델 행동을 정확히 예측할 수 있도록 하는지 조사하기.
• LLM 추론 및 의사결정 과정에 대한 인간의 정확한 정신 모델 형성 여부를 평가하는 데 있어 발생하는 평가 격차를 해소하기.
• 설명의 재현 가능성(시뮬레이션 정밀도 및 일반성)을 측정하는 데 사용할 수 있는 메트릭—시뮬레이션 정밀도와 일반성—을 개발하고 검증하기.
• 인간의 타당성에 최적화하는 것(예: RLHF를 통한)이 반사적 재현 가능성 향상에 기여하는지 테스트하기.
• 이러한 새로운 메트릭을 사용해 최신의 LLM(GPT-3.5, GPT-4)을 다단계 추론 및 보상 모델링 작업에서 벤치마킹하기.

제안 방법

• 반사적 재현 가능성이라는 새로운 평가 범주 제안: 설명이 다양한 반사적 입력에서 인간이 모델 출력을 정확히 추론할 수 있는지 여부.
• LLM을 활용해 설명과 관련된 다양한 반사적 입력을 자동 생성(예: 음식 가용성에 관한 질문에서 'BLT'를 '포크 벨리'로 변경).
• 인간의 시뮬레이션을 논리적 함의 작업으로 프레임워크화해 주관성 감소: 인간은 설명과 반사적 입력을 바탕으로 모델 출력을 추론한다.
• 두 가지 메트릭 정의: 시뮬레이션 정밀도(인간 추론이 모델 출력과 일치하는 반사적 입력의 비율) 및 시뮬레이션 일반성(관련 반사적 입력 간 평균 상호 유사도의 1에서 뺀 값).
• Chain-of-Thought 및 Post-Hoc 설명 방법을 사용해 GPT-3.5와 GPT-4를 두 가지 작업—StrategyQA(다단계 사실 기반 추론) 및 스탠포드 인간 선호도(보상 모델링)—에서 벤치마킹.
• 시뮬레이션 정밀도와 인간의 타당성 평가 점수 간 상관관계 분석을 통해, 승인을 위한 최적화가 재현 가능성 향상에 기여하는지 평가.

실험 결과

연구 질문

• RQ1 LLM의 자연어 설명이 인간이 반사적 입력에서 모델 행동을 정확히 추론하는 데 도움이 되는가?
• RQ2 다양한 반사적 입력에서 인간의 추론 정밀도가 실제 모델 출력과 비교해 어떻게 되는가?
• RQ3 설명의 일반성—관련 반사적 입력의 다양성으로 측정—은 정확한 추론 지원 능력과 상관관계가 있는가?
• RQ4 인간이 평가한 설명의 타당성과 반사적 재현 가능성(정밀도) 간 상관관계가 있는가?
• RQ5 Chain-of-Thought 설명 방식이 Post-Hoc 설명 방식보다 반사적 재현 가능성에서 뛰어나지 않는가?

주요 결과

• GPT-4와 GPT-3.5의 설명은 반사적 입력에서 낮은 시뮬레이션 정밀도를 보이며, 이진 분류 작업에서 모델 출력 예측 정확도가 80%에 불과하다.
• 시뮬레이션 정밀도는 인간의 타당성 평가 점수와 상관관계가 없으며, 이는 인간의 승인을 위한 최적화(RLHF 등)가 재현 가능성 향상에 기여하지 않을 수 있음을 시사한다.
• Chain-of-Thought 설명은 반사적 재현 가능성 측면에서 Post-Hoc 설명보다 유의미하게 뛰어나지 않는다.
• 일반성 메트릭은 관련 반사적 입력의 다양성을 캡처하며, '무슬림은 돼지고기를 섭취하지 않는다'는 설명은 '인간은 육류를 섭취하지 않는다'는 설명보다 더 다양한 반사적 입력을 생성한다.
• 사례 연구에서 GPT-4의 설명 '무슬림 다수 국가에서는 돼지고기를 일반적으로 섭취하지 않는다'는 내용은 인간이 '카사블랑카에서 돼지고기 벨리를 찾는 것이 어려운가?'에 대해 '예'라고 대답하도록 이끌지만, 실제로 GPT-4는 '아니요'라고 답변함으로써 일치하지 않는 결과를 보였다.
• 결과적으로 사실적으로 정확하고 논리적으로 일관된 설명이라도 인간이 LLM 행동에 대한 잘못된 정신 모델을 형성하게 할 수 있음을 시사한다.