[논문 리뷰] On the Diversity and Limits of Human Explanations

Chenhao Tan|arXiv (Cornell University)|2021. 06. 22.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 NLP에서 인간 설명의 다양성과 한계를 조사하며, '설명'이라는 용어가 지나치게 광범위하여 서로 다른 인지적 개념을 혼동하게 한다고 주장한다. 인간 설명을 근본 원인 메커니즘, 증거, 절차로 분류하며, 각각 다른 인지적 기초와 기능을 지닌다. 인간은 종종 타당하고 완전한 추론을 제공하지 못함으로써, 모델 훈련이나 평가를 위한 신뢰할 수 있는 기준으로 인간 설명이 사용된다는 가정을 도전한다.

ABSTRACT

A growing effort in NLP aims to build datasets of human explanations. However, the term explanation encompasses a broad range of notions, each with different properties and ramifications. Our goal is to provide an overview of diverse types of explanations and human limitations, and discuss implications for collecting and using explanations in NLP. Inspired by prior work in psychology and cognitive sciences, we group existing human explanations in NLP into three categories: proximal mechanism, evidence, and procedure. These three types differ in nature and have implications for the resultant explanations. For instance, procedure is not considered explanations in psychology and connects with a rich body of work on learning from instructions. The diversity of explanations is further evidenced by proxy questions that are needed for annotators to interpret and answer open-ended why questions. Finally, explanations may require different, often deeper, understandings than predictions, which casts doubt on whether humans can provide useful explanations in some tasks.

연구 동기 및 목표

• NLP에서 '설명'이라는 용어의 개념적 다양성을 명확히 하여, 서로 다른 인지적 현상임에도 불구하고 빈번히 동일시되는 것을 방지하기 위함.
• 인간 애너테이터가 제공한 설명이 설명 가능 AI 모델의 훈련 또는 평가를 위한 신뢰할 수 있는 기준이 될 수 있는지 검토하기 위함.
• 예측이 설명을 의미하지 않으며, 일상적인 설명은 본질적으로 불완전하다는 심리학적 통찰을 강조하기 위함.
• 인지과학 프레임워크를 바탕으로 인간 설명을 근본 원인 메커니즘, 증거, 절차의 세 가지 유형으로 분류하기 위함.
• 인간 설명의 수집 및 활용에 있어 그 인지적·개념적 한계를 인정함으로써 NLP에서의 지침을 제공하기 위함.

제안 방법

• Lombrozo(2006)의 인지 프레임워크를 변형하여 NLP에서 인간 설명을 근본 원인 메커니즘, 증거, 절차의 세 유형으로 분류한다.
• 기존 데이터셋에서 설명을 유도하기 위해 사용하는 대체 질문들을 분석하여, 이들이 서로 다른 기초적인 추론 과정을 대상으로 함을 드러낸다.
• 심리학 문헌을 바탕으로 인간은 정확한 예측을 하더라도 그 배후의 인과적 메커니즘을 완전히 설명할 수 없다고 주장한다.
• 예시를 통해 설명의 형태와 깊이가 다양함을 보여주며, 예를 들어 토큰 강조(증거) vs. 추론 단계 기술(절차) vs. 인과적 연결 서술(근본 원인 메커니즘)을 비교한다.
• 20개 이상의 NLP 데이터셋과 애너테이션 가이드라인을 검토하여, 서로 다른 대체 질문이 다른 설명 유형을 유도함으로써, 일관된 유형으로 간주되는 가정이 흔들림을 보여준다.
• 연구자들이 NLP에서 인간 설명을 수집, 사용, 평가할 때 설명 유형을 명확히 구분해야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 NLP에서 인간 설명의 명백한 인지적 유형은 무엇이며, 각각의 구조와 목적은 어떻게 다를까?
• RQ2 사람들은 예측의 전반적인 추론 과정을 신뢰성 있게 제공할 수 있는가?
• RQ3 기존의 인간 설명 데이터셋이 모델 평가나 훈련을 위한 일관된 기준으로 기능하지 못하는 이유는 무엇인가?
• RQ4 애너테이션에서 사용하는 대체 질문이 수집된 설명의 유형과 질에 어떤 영향을 미치는가?
• RQ5 심리학적 발견—예를 들어 불완전한 일상적 설명과 예측-설명 간 격차—는 NLP에서 인간 설명의 사용에 어떤 함의를 지닌다?

주요 결과

• NLP에서 '설명'이라는 용어는 근본 원인 메커니즘(인과적 추론), 증거(관련 입력 스트링), 절차(단계별 지침)의 세 가지 명백한 인지적 유형을 포함하며, 각각 다른 성질과 용도를 지닌다.
• 사람들은 정확한 레이블을 예측하더라도 근본 원인 메커니즘을 완전하거나 정확하게 제공하지 못하는 경우가 많으며, 이는 예측과 설명 사이의 인지적 격차 때문이다.
• 일상적인 설명은 축약된 기초 원리와 논리적 추론을 생략하므로 본질적으로 불완전하며, 완전한 이성적 정당화를 요구하는 기대와 모순된다.
• 증거 기반 설명(예: 강조된 단어)은 추론을 설명하지 않으며, 심리학적 관점에서 설명으로 간주되지 않는다.
• 절차는 지시 수행에 유용하지만 심리학적으로는 설명으로 간주되지 않으며, 지시를 따르는 학습 연구와 더 잘 부합한다.
• 설명을 유도하기 위해 사용하는 대체 질문은 데이터셋 간에 크게 다름으로써, 일관성 없고 비균일한 설명 유형을 초래하며, 이는 모두 '기준'으로 간주된다는 가정을 약화시킨다.