[논문 리뷰] WinoWhy: A Deep Diagnosis of Essential Commonsense Knowledge for Answering Winograd Schema Challenge

Hongming Zhang, Xinran Zhao외 1명|arXiv (Cornell University)|2020. 05. 12.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 Winograd Schema Challenge(WSC)에서 모델이 실제로 공통된 상식 추론을 이해하고 있는지 여부를 평가하기 위해, 통계적 편향을 악용하고 있을 뿐인지 여부를 진단하는 새로운 진단 과제인 WinoWhy를 소개한다. 인간이 정답에 대한 이유를 제공하고 이를 여섯 가지 지식 유형으로 분류함으로써, 저자들은 최신 기술 모델이라도 WinoWhy에서 77.77%의 정확도에 그치며, 원래 WSC 과제에서 뛰어난 성능을 보임에도 불구하고 기초적인 공통 상식 지식을 제대로 이해하지 못하고 있음을 드러낸다.

ABSTRACT

In this paper, we present the first comprehensive categorization of essential commonsense knowledge for answering the Winograd Schema Challenge (WSC). For each of the questions, we invite annotators to first provide reasons for making correct decisions and then categorize them into six major knowledge categories. By doing so, we better understand the limitation of existing methods (i.e., what kind of knowledge cannot be effectively represented or inferred with existing methods) and shed some light on the commonsense knowledge that we need to acquire in the future for better commonsense reasoning. Moreover, to investigate whether current WSC models can understand the commonsense or they simply solve the WSC questions based on the statistical bias of the dataset, we leverage the collected reasons to develop a new task called WinoWhy, which requires models to distinguish plausible reasons from very similar but wrong reasons for all WSC questions. Experimental results prove that even though pre-trained language representation models have achieved promising progress on the original WSC dataset, they are still struggling at WinoWhy. Further experiments show that even though supervised models can achieve better performance, the performance of these models can be sensitive to the dataset distribution. WinoWhy and all codes are available at: https://github.com/HKUST-KnowComp/WinoWhy.

연구 동기 및 목표

• Winograd Schema Challenge(WSC) 질문을 해결하기 위해 필요한 필수적인 공통 상식 지식 유형을 특정하고 분류하기 위해.
• 현재의 모델들이 공통 상식 추론을 이해하고 있는지 여부를 조사하기 위해, 또는 단지 WSC 데이터셋의 통계적 편향을 악용하고 있는지 여부를 조사하기 위해.
• 모델이 정답과 유사하지만 잘못된 추론을 구분하는 능력을 평가할 수 있는 새로운 진단 기준인 WinoWhy를 개발하기 위해.
• 기존의 사전 훈련된 모델 및 지도 학습 모델이 WSC 결정의 근본적인 근거를 이해하는 데에 얼마나 한계가 있는지 드러내기 위해.

제안 방법

• 평가자들이 각 WSC 질문에 대한 정답에 대한 이유를 상세히 제공하여 사용된 공통 상식 지식을 설명하였다.
• 이유들은 엔티티 성질, 시간적 추론, 공간적 추론, 인과관계, 수량, 사회적 규범의 여섯 가지 지식 유형으로 체계적으로 분류되었다.
• 각 WSC 질문과 정답 이유 하나, 그리고 유사하지만 잘못된 이유 여러 개를 조합하여 새로운 과제인 WinoWhy를 만들었다.
• 모델들은 정답 이유를 매우 유사한 대안들 중에서 식별하는 능력에 대해 평가되었으며, 이는 텍스트 분류 과제로 구성되었다.
• 여러 사전 훈련된 모델들(BERT, RoBERTa, GPT-2, BERT-large)과 LSTM 기반의 기본 모델을 사용하여, 다섯 번의 교차 검증을 통해 WinoWhy 데이터셋에 대해 미세조정되었다.
• 두 가지 분할 전략을 사용하였는데, 질문 기반('Five-fold q')과 이유 기반('Five-fold r')으로, 모델의 데이터 분포 변화에 대한 강건성을 평가하기 위해 사용되었다.

실험 결과

연구 질문

• RQ1 Winograd Schema Challenge 질문을 올바르게 해결하기 위해 필수적인 공통 상식 지식의 유형은 무엇인가?
• RQ2 현재의 사전 훈련된 언어 모델들이 예측의 근거가 되는 추론을 이해하고 있는 정도는 어느 정도이며, 데이터셋의 편향에 의존하고 있는가?
• RQ3 유사한 데이터셋에 대해 미세조정을 통해 WSC 성능을 안정적으로 향상시킬 수 있는가, 아니면 이는 통계 패턴에 대한 과적합 때문인가?
• RQ4 훈련 데이터 분포가 변화할 경우, 지도 학습 모델의 WinoWhy 성능은 얼마나 강건한가?

주요 결과

• 최신 기술 모델이라도 WinoWhy 과제에서 77.77%의 정확도에 그치며, 정답과 유사하지만 잘못된 추론을 구분하는 데에 상당한 어려움을 겪고 있음을 시사한다.
• 가장 성능이 뛰어난 지도 학습 모델은 특히 'Five-fold (r)' 설정에서 교차 검증 폴드 간에 높은 표준편차를 보이며, 데이터 분포에 민감한 것으로 나타났다.
• WSCR 또는 WinoGrande에 대해 미세조정하면 WSC 성능은 향상되지만 WinoWhy 성능은 향상되지 않으며, 이는 이러한 성과 향상 요인이 깊은 공통 상식 이해가 아니라 데이터셋 피팅 때문일 수 있음을 시사한다.
• 결과적으로 현재의 모델들이 WSC 정답의 근거가 되는 추론을 진정으로 이해하고 있지는 않으며, 오히려 훈련 데이터의 통계적 신호에 의존하고 있음을 시사한다.
• WinoWhy 기준은 기존 모델들이 표면적 패턴을 초월해 일반화하지 못하고 있음을 드러내며, 더 강건한 추론 메커니즘의 필요성을 강조한다.