[논문 리뷰] Evaluating and Characterizing Human Rationales

Samuel Carton, Anirudh Rathore외 1명|arXiv (Cornell University)|2020. 10. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 4

한 줄 요약

이 논문은 자동화된 충실도 메트릭(충분성과 포괄성)을 사용하여 인간의 추론 과정을 평가하며, 모델 편향과 데이터셋 특화 요인으로 인해 인간의 추론 과정이 종종 이러한 메트릭에서 열등한 성능을 보임을 드러낸다. 저자들은 정규화된 충실도 메트릭, 추론 전용 데이터로 모델 재학습, 그리고 충실도 곡선을 제안하여 추론 품질을 더 잘 특성화하고, 재현성과 토큰 간 의존성과 같은 숨겨진 성질을 밝혀낸다.

ABSTRACT

Two main approaches for evaluating the quality of machine-generated rationales are: 1) using human rationales as a gold standard; and 2) automated metrics based on how rationales affect model behavior. An open question, however, is how human rationales fare with these automatic metrics. Analyzing a variety of datasets and models, we find that human rationales do not necessarily perform well on these metrics. To unpack this finding, we propose improved metrics to account for model-dependent baseline performance. We then propose two methods to further characterize rationale quality, one based on model retraining and one on using "fidelity curves" to reveal properties such as irrelevance and redundancy. Our work leads to actionable suggestions for evaluating and characterizing rationales.

연구 동기 및 목표

• 인간이 생성한 추론 과정이 일반적으로 황금 표준으로 간주되지만, 실제로 자동 충실도 메트릭(충분성과 포괄성)에서 얼마나 잘 수행되는지 조사하기 위해.
• 현재 자동 평가 방법의 한계를 특정하여, 인간의 추론 과정에 대한 충실도 점수에 오류를 유도하거나 일관성 없게 만드는 원인을 밝혀내기 위해.
• 모델 특화 행동(예: 클래스 편향, 전체 입력과 추론 전용 입력 간 도메인 이탈)을 고려한 개선된 평가 기법을 개발하기 위해.
• 이중 충분성/포괄성 이외의 관점에서 추론 품질을 특성화하기 위해 재현성, 불필요성, 토큰 간 상호의존성 분석을 수행하기 위해.
• 모델에 종속되지 않는 실용적인 평가 프레임워크를 제공하여 NLP에서의 설명 평가를 더 신뢰성 있고 해석 가능하게 만들기 위해.

제안 방법

• 기본 모델 성능에 기반해 충실도 점수를 보정하는 정규화 절차를 제안하여, 다양한 모델과 데이터셋 간 공정한 비교를 가능하게 하기 위해.
• 전체 데이터가 아닌 추론 전용 데이터로 모델 재학습을 수행하여, 우연적 충실도와 잠재적 충실도를 구분하고, 추론의 진정한 예측 능력을 드러내기 위해.
• 점진적으로 추론에서 토큰을 제거하면서 충분성과 포괄성이 어떻게 떨어지는지 측정하여 '충실도 곡선'을 개발하기 위해.
• 충실도 곡선의 형태를 분석하여 재현성(점진적 떨어짐)과 토큰 간 의존성(급격한 떨어짐)과 같은 세부적인 추론 성질을 추론하기 위해.
• 여섯 가지 다양한 NLP 데이터셋에 이러한 방법을 적용하여, 과제, 클래스, 모델 간 추론 품질의 변동성을 분석하기 위해.
• 정규화된 메트릭, 재학습된 모델, 충실도 곡선의 결과를 비교하여 추론 품질의 다차원적 특성화를 제공하기 위해.

실험 결과

연구 질문

• RQ1 다양한 모델과 데이터셋에서 인간의 추론 과정은 표준 자동 충실도 메트릭(충분성과 포괄성)에서 어떻게 성능을 내는가?
• RQ2 모델 편향과 클래스 불균형이 표준 메트릭을 사용한 추론 품질 평가에 얼마나 심각하게 왜곡을 초래하는가?
• RQ3 충실도 점수의 정규화가 다양한 모델과 데이터셋 간 비교의 공정성과 해석 가능성에 기여하는가?
• RQ4 전체 데이터에서의 '우연적' 성능을 넘어서, 추론 전용 데이터로 모델 재학습을 통해 추론의 '잠재적' 충실도가 어떻게 드러나는가?
• RQ5 랜덤으로 토큰을 제거할 때 충실도 곡선의 형태를 분석함으로써, 재현성, 불필요성, 또는 토큰 간 의존성과 같은 추론의 구조적 성질에 대해 어떤 통찰을 얻을 수 있는가?

주요 결과

• 인간의 추론 과정은 자동 메트릭에서 충분성과 포괄성이 떨어지는 경향이 빈번히 나타나며, 이는 황금 표준으로 간주되더라도 마찬가지다.
• 모델 특화 편향(예: E-SNLI에서 중립 클래스에 대한 강한 선호)은 무신뢰성 있는 추론에 대해 잘못된 높은 충실도 점수를 초래할 수 있다.
• 충실도 메트릭의 정규화는 기본 모델 행동에 기인한 변동성을 크게 줄여주며, 더 신뢰할 수 있는 다양한 모델 간 비교를 가능하게 한다.
• 추론 전용 데이터로 모델 재학습을 수행함으로써 많은 추론이 높은 '잠재적' 충실도를 가지고 있음을 드러내었으며, 이는 初기 평가에서 포착되지 않은 유용한 신호가 존재함을 시사한다.
• 충실도 곡선은 추론의 구조적 성질을 폭 드러낸다: 분류 과제는 더 높은 토큰 간 의존성과 낮은 재현성을 보이며, 문서/질의 과제는 더 높은 재현성과 낮은 의존성을 보인다.
• 충실도 곡선의 형태는 재현성(점진적 떨어짐)과 상호의존성(급격한 떨어짐)을 가진 토큰 집합을 구분할 수 있으며, 추론 품질의 새로운 진단 도구를 제공한다.