[논문 리뷰] Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language?

Peter Hase, Shiyue Zhang외 2명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 자연어 설명이 예측을 진정으로 뒷받침하는지 여부를 평가하기 위한 새로운 메트릭인 유출 보정 시뮬레이터블리티(LAS)를 소개한다. 이는 인간의 타당성처럼 보이기만 하는 것이 아니라 실제 모델 행동을 뒷받침하는지 평가하는 데 목적이 있다. 언어 모델을 관찰자로 간주하여 LAS는 레이블 유출을 제어하면서 설명이 모델 출력을 얼마나 잘 예측할 수 있는지 측정한다. 제안된 ST-Ra 모델은 인간 수준의 LAS 점수를 달성하여, 비트리비얼한 충실한 설명 생성 능력을 입증한다.

ABSTRACT

Data collection for natural language (NL) understanding tasks has increasingly included human explanations alongside data points, allowing past works to introduce models that both perform a task and generate NL explanations for their outputs. Yet to date, model-generated explanations have been evaluated on the basis of surface-level similarities to human explanations, both through automatic metrics like BLEU and human evaluations. We argue that these evaluations are insufficient, since they fail to indicate whether explanations support actual model behavior (faithfulness), rather than simply match what a human would say (plausibility). In this work, we address the problem of evaluating explanations from the model simulatability perspective. Our contributions are as follows: (1) We introduce a leakage-adjusted simulatability (LAS) metric for evaluating NL explanations, which measures how well explanations help an observer predict a model's output, while controlling for how explanations can directly leak the output. We use a model as a proxy for a human observer, and validate this choice with two human subject experiments. (2) Using the CoS-E and e-SNLI datasets, we evaluate two existing generative graphical models and two new approaches; one rationalizing method we introduce achieves roughly human-level LAS scores. (3) Lastly, we frame explanation generation as a multi-agent game and optimize explanations for simulatability while penalizing label leakage, which can improve LAS scores. We provide code for the experiments in this paper at https://github.com/peterbhase/LAS-NL-Explanations

연구 동기 및 목표

• 기존 평가 방법의 한계를 해결하기 위해 표면적 유사성(BLEU 등)이나 타당성에 초점을 맞추는 것이 아니라, 설명의 충실성을 우선시하는 것.
• 설명이 모델 출력을 정확히 예측할 수 있는지(시뮬레이터블리티)를 측정하는 메트릭을 개발하며, 레이블 직접 유출을 고려하는 것.
• 인간 실험을 통해 제안된 메트릭을 검증하여 전문가 및 대중 평가와의 일치를 보여주는 것.
• 시뮬레이터블리티를 최적화하는 학습 목표가 기존 언어 모델링을 초월해 설명 품질을 향상시킬 수 있는지 탐색하는 것.
• 예측 정확도와 설명의 충실성 사이의 트레이드오프, 특히 정당화 모델과 추론 모델의 맥락에서의 관계를 조사하는 것.

제안 방법

• 레이블 유출을 제어하면서 입력과 설명이 주어졌을 때 모델 출력을 예측하는 시뮬레이터(언어 모델)의 정확도를 측정하는 메트릭인 레이어 유출 보정 시뮬레이터블리티(LAS)를 제안한다. 이는 설명만으로 예측하는 기준 모델을 통해 레이블 유출을 제어한다.
• 자동화된 LAS 평가를 위해 미리 훈련된 T5 모델을 시뮬레이터로 사용하며, 전문가 시뮬레이션 및 대중 평가 실험을 통해 검증한다.
• 설명을 시뮬레이터블리티를 최적화하면서 레이블 유출을 방지하는 다중 에이전트 게임 프레임워크를 도입하며, 훈련 중에 대체 목표를 사용한다.
• 레이어 유출 제어 메커니즘을 통해 입력과 설명이 모두 주어졌을 때의 시뮬레이터 정확도($\mathbbm{1}[\hat{y}|x,\hat{e}]$)와 설명만 주어졌을 때의 정확도($\mathbbm{1}[\hat{y}|\hat{e}]$)를 비교함으로써, 레이어 유출의 정도를 측정한다.
• 자동 평가와 인간 평가를 모두 활용하여 CoS-E 및 e-SNLI 데이터셋에서 MT-Ra, ST-Re, MT-Re 및 새로운 ST-Ra 모델 네 가지에 대해 LAS 메트릭을 적용한다.
• 회귀 분석을 통해 LAS 점수와 인간 평가 간의 상관관계를 분석하여, 레이블 유출이 인간 선호도의 가장 강력한 예측 변수임을 규명한다.

실험 결과

연구 질문

• RQ1 모델이 생성한 자연어 설명이 인간 설명과 유사하지만, 실제로 모델 행동을 예측하는 데 도움이 되는지 평가할 수 있는 메트릭을 개발할 수 있는가?
• RQ2 기존의 설명 생성 방법들은 모델 행동에 충실한 설명을 생성하는지, 아니면 단지 타당성만 갖춘 설명을 생성하는가?
• RQ3 설명에 포함된 레이블 유출이 인간이 느끼는 설명 품질 평가에 어떤 영향을 미치며, 이는 진정한 시뮬레이터블리티와 어떻게 분리될 수 있는가?
• RQ4 시뮬레이터블리티를 최적화하면서 레이블 유출을 줄이는 방식으로 학습 목표를 설계하면 설명 품질 향상에 기여할 수 있는가?
• RQ5 설명을 지도로 사용할 경우, 모델 정확도와 설명의 충실성 사이에 트레이드오프가 존재하는가?

주요 결과

• ST-Ra 모델은 인간 설명과 유사한 LAS 점수를 확보하여, 비트리비얼하고 행동을 뒷받침하는 설명 생성 능력을 입증한다.
• 레이블에 조건부로 작동하는 정당화 모델(Rationalizing models)이 레이블에 조건부로 작동하지 않는 추론 모델(Reasoning models)보다 성능이 뛰어나, 레이블 조건부 작동이 시뮬레이터블리티를 향상시킨다는 것을 시사한다.
• 모델 정확도와 LAS 점수 사이에 통계적으로 유의미한 상관관계가 없으며, 이는 충실성과 정확도가 대부분 분리되어 있음을 의미한다.
• 인간 설명 평가의 가장 강력한 예측 변수는 설명의 시뮬레이터블리티나 충실성보다는 레이블 유출 여부이다.
• 다중 에이전트 게임 프레임워크를 통한 설명 최적화는 LAS 점수를 향상시키지만, 학습이 불안정하고 정확도에 미미한 영향을 미친다.
• 자동 LAS 메트릭은 전문가 시뮬레이션 결과와 인간 평가와 강한 상관관계를 보이며, 인간 평가의 신뢰할 수 있는 대체 측정 기준으로서의 유효성을 입증한다.