[논문 리뷰] PALRACE: Reading Comprehension Dataset with Human Data and Labeled Rationales

Jiajie Zou, Yuran Zhang외 4명|arXiv (Cornell University)|2021. 06. 23.

Topic Modeling참고 문헌 9인용 수 5

한 줄 요약

PALRACE는 RACE 코퍼스에서 유래한 독해 이해 데이터셋을 소개하며, 6가지 질문 유형에 대해 인간이 라벨링한 추론 과정을 포함한 800개의 단락을 포함한다. 이 연구는 RoBERTa-large와 같은 모델이 모든 질문 유형에서 인간을 능가함을 보여주지만, 특히 간단하거나 태스크에 맞춰 미세조정되지 않은 모델의 성능이 인간이 제공한 추론 과정을 제공받을 경우 크게 향상되며, 일부 경우에서 성능 향상이 30%를 초과함을 확인한다.

ABSTRACT

Pre-trained language models achieves high performance on machine reading comprehension (MRC) tasks but the results are hard to explain. An appealing approach to make models explainable is to provide rationales for its decision. To investigate whether human rationales can further improve current models and to facilitate supervised learning of human rationales, here we present PALRACE (Pruned And Labeled RACE), a new MRC dataset with human labeled rationales for 800 passages selected from the RACE dataset. We further classified the question to each passage into 6 types. Each passage was read by at least 26 human readers, who labeled their rationales to answer the question. It is demonstrated that models such as RoBERTa-large outperforms human readers in all 6 types of questions, including inference questions, but its performance can be further improved when having access to the human rationales. Simpler models and pre-trained models that are not fine-tuned based on the task benefit more from human rationales, and their performance can be boosted by more than 30% by rationales. With access to human rationales, a simple model based on the GloVe word embedding can reach the performance of BERT-base.

연구 동기 및 목표

• 모델의 해석 가능성 향상을 위해 인간이 라벨링한 추론 과정을 포함한 독해 이해 데이터셋을 구축하기.
• 사전 훈련된 언어 모델의 성능을 현재의 최고 성능 수준을 초월해 향상시키기 위해 인간의 추론 과정이 기여하는지 조사하기.
• 추론 및 사실 기반 질문을 포함한 다양한 독해 이해 질문 유형에 대해 추론 과정의 영향을 탐색하기.
• 강력한 모델과 단순한 모델(특히 태스크에 맞춰 미세조정되지 않은 모델 포함)에서 추론 과정의 효과 평가하기.
• 기계 독해 이해에서 인간의 추론 과정 학습을 위한 지도 학습 벤치마크 제공하기.

제안 방법

• 다양한 독해 수준과 내용을 포함한 RACE 데이터셋에서 800개의 단락을 선별하였다.
• 각 질문-단락 쌍에 대해 최소 26명의 인간 독자가 참여한 인간 라벨링된 추론 과정을 수집하였다.
• 추론 복잡도와 이해 깊이 요구 수준에 따라 6가지 질문 유형을 분류하였다.
• RoBERTa-large 및 기타 모델을 인간의 추론 과정 유무에 따라 훈련하여 성능을 비교하였다.
• 저자원 또는 태스크에 맞춰 미세조정되지 않은 모델의 성능에 대한 추론 과정의 영향을 평가하기 위해 단순한 GloVe 기반 모델을 사용하였다.
• 모든 6가지 질문 유형에서 모델 성능을 평가하였으며, 정확도 및 추론 과정 통합에 따른 성능 향상도 측정하였다.

실험 결과

연구 질문

• RQ1 인간이 라벨링한 추론 과정은 사전 훈련된 언어 모델의 독해 이해 과제 성능 향상에 기여하는가?
• RQ2 간단하거나 태스크에 맞춰 미세조정되지 않은 모델일수록 추론 과정의 영향을 더 크게 받는가?
• RQ3 다양한 독해 이해 질문 유형에서 추론 과정의 포함 여부가 성능에 어떤 영향을 미치는가?
• RQ4 태스크에 맞춰 미세조정되지 않은 GloVe 기반 모델이 인간의 추론 과정을 제공받을 경우 BERT-base와 유사한 성능을 달성할 수 있는가?
• RQ5 동일한 추론 과정을 공유할 경우 인간 독자와 최고 수준의 모델 간에 성능 격차가 측정 가능한가?

주요 결과

• RoBERTa-large는 복잡한 추론 질문을 포함한 모든 6가지 질문 유형에서 인간 독자보다 뛰어난 성능을 보였다.
• 태스크에 맞춰 미세조정되지 않거나 단순한 모델(예: GloVe 기반)은 인간의 추론 과정을 제공받을 경우 성능 향상이 30%를 초과하는 경우가 많았다.
• 단순한 모델가 GloVe 임베딩만을 사용해도 인간이 라벨링한 추론 과정을 제공받을 경우 BERT-base와 유사한 성능을 달성하였다.
• 모든 6가지 질문 유형에서 인간의 추론 과정 포함 여부가 모델 성능 향상에 일관되게 기여하였으며, 특히 태스크에 맞춰 미세조정되지 않은 모델에서 가장 큰 향상이 관찰되었다.
• 높은 성능을 보이는 모델인 RoBERTa-large조차도 인간의 추론 과정을 제공받을 경우 측정 가능한 성능 향상을 보이며, 이는 추론 과정이 추론 정밀도를 향상시킨다는 것을 시사한다.