[논문 리뷰] A Framework for Evaluation of Machine Reading Comprehension Gold Standards

Viktor Schlegel, Marco Valentino외 3명|arXiv (Cornell University)|2020. 03. 10.

Topic Modeling참고 문헌 42인용 수 19

한 줄 요약

이 논문은 언어적 복잡성, 필요로 하는 추론, 배경 지식, 사실적 정확성, 어휘적 단서를 분석하여 기계적 읽기 이해(MRC) 골드 표준을 체계적으로 평가하기 위한 통합 프레임워크를 제안한다. 이 프레임워크는 정성적 애너테이션 체계와 근사적 지표를 사용하여 기존 MRC 데이터셋이 종종 어휘적 모호성을 결여하고 있으며, 답변에 사실적 일관성이 결여되어 있고, 표면적 어휘적 단서에 크게 의존하고 있음을 드러내며, 이는 진정으로 독해 능력을 평가하는 데에 악영향을 미친다.

ABSTRACT

Machine Reading Comprehension (MRC) is the task of answering a question over a paragraph of text. While neural MRC systems gain popularity and achieve noticeable performance, issues are being raised with the methodology used to establish their performance, particularly concerning the data design of gold standards that are used to evaluate them. There is but a limited understanding of the challenges present in this data, which makes it hard to draw comparisons and formulate reliable hypotheses. As a first step towards alleviating the problem, this paper proposes a unifying framework to systematically investigate the present linguistic features, required reasoning and background knowledge and factual correctness on one hand, and the presence of lexical cues as a lower bound for the requirement of understanding on the other hand. We propose a qualitative annotation schema for the first and a set of approximative metrics for the latter. In a first application of the framework, we analyse modern MRC gold standards and present our findings: the absence of features that contribute towards lexical ambiguity, the varying factual correctness of the expected answers and the presence of lexical cues, all of which potentially lower the reading comprehension complexity and quality of the evaluation data.

연구 동기 및 목표

• 모델 성능 평가에 핵심적인 영향을 미치는 MRC 골드 표준에 대한 체계적 평가의 부족을 해결하기 위해.
• 기대되는 답변의 어휘적 단서와 사실적 오류와 같은 기존 MRC 데이터셋의 결함을 식별하고 분석하기 위해.
• 언어적 특성, 추론 유형, 지식 요구 사항을 기반으로 MRC 평가 데이터의 체계적 비교를 가능하게 하는 통합 프레임워크를 개발하기 위해.
• 깊은 이해와 표면적 패턴 매칭 사이의 차이를 명확히 하여 MRC 평가의 신뢰성을 높이기 위해.
• 향후 연구가 더 높은 품질과 더 강건한 MRC 벤치마크를 구축할 수 있는 기반을 제공하기 위해.

제안 방법

• MRC 골드 표준 내 언어적 복잡성, 필요로 하는 추론, 배경 지식, 사실적 정확성을 분류하기 위한 정성적 애너테이션 체계를 제안한다.
• 단어 일치도와 답변 근처의 어휘적 단서와 같은 요소를 포함하여 얕은 모델 성능을 가능하게 하는 어휘적 단서의 존재를 수량화하기 위한 근사적 지표를 도입한다.
• 핫포트QA와 SQuAD와 같은 현대 MRC 데이터셋에 프레임워크를 적용하여 수동 및 자동 분석 기법을 사용한다.
• 애너테이션 중에 적대적 미리 학습된 모델을 활용하여 어휘 매칭으로 쉽게 답할 수 있는 질문들을 걸러내는 커뮤니티 기반의 애너테이션을 수행한다.
• 마리에타 공군 기지와 스미르나와 같은 다중 파스티클 예시를 통해 어휘적 단서가 질문을 단순화할 수 있는 방식을 설명한다.
• 추론, 공호성 해결, 사실 기억 여부에 따라 질문을 분류하고, 외부 지식과의 대조를 통해 답변의 정확성을 평가한다.

실험 결과

연구 질문

• RQ1 기존 MRC 골드 표준이 진정한 이해보다 어휘적 단서에 얼마나 의존하고 있는가?
• RQ2 현재 MRC 데이터셋의 기대되는 답변은 얼마나 일관되고 사실적으로 정확한가?
• RQ3 MRC 평가 데이터에 실제로 존재하는 언어적 복잡성과 추론 복잡성은 무엇인가?
• RQ4 배경 지식과 모호성의 존재가 MRC 과제의 난이도에 어떤 영향을 미치는가?
• RQ5 통합 프레임워크를 통해 다양한 MRC 골드 표준의 품질을 체계적으로 평가하고 비교할 수 있는가?

주요 결과

• 핫포트QA를 포함한 많은 MRC 데이터셋에서 질문과 문단 내 고유한 키워드를 통해 기대되는 답변를 쉽게 찾을 수 있어 깊은 이해가 필요로 하지 않는 경우가 많다.
• 골드 표준의 기대되는 답변들은 종종 사실적으로 일관성이 결여되어 있으며, 일부는 잘못되었거나 오래된 또는 모호한 정보에 기반한다.
• 질문과 문단에서 어휘적 모호성이 뚜렷하게 결여되어 있어 모델이 모호한 참조를 해결하는 능력을 평가하는 데에 한계가 있다.
• 프레임워크는 현대 MRC 데이터셋의 상당수 질문이 의미적 이해보다 표면적 어휘 매칭을 통해 해결될 수 있음을 드러낸다.
• 애너테이션 중에 적대적 미리 학습된 모델을 활용함으로써 간단한 키워드 매칭으로 답할 수 있는 질문들을 성공적으로 걸러내어 데이터 품질을 향상시켰다.
• 분석 결과 현재 평가 데이터는 진정한 독해 능력을 측정하지 못하고 있으며, 패턴 매칭에 치우쳐 있고 충분한 추론 및 지식 요구 사항이 부족하다는 점을 보여준다.