[논문 리뷰] Assessing the Benchmarking Capacity of Machine Reading Comprehension Datasets

Saku Sugawara, Pontus Stenetorp외 2명|arXiv (Cornell University)|2019. 11. 21.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

이 논문은 기계적 독해(MRC) 데이터셋이 진정으로 고도화된 언어 이해 능력을 평가하는 데 적합한지 평가하기 위해 반자동, 분석 기반의 방법론을 제안한다. 특정 언어적 기능—예를 들어 어휘, 문장 순서, 품사 태그—를 체계적으로 제거함으로써, 강력한 베이스라인 모델이 어휘만 포함된 버전과 단어 순서가 뒤섞인 버전에서 각각 원래 성능의 89.2%와 78.5%를 기록함을 보여주며, 기존 MRC 질문 대부분이 깊이 있는 이해보다 표면적 신호에 의존함을 시사한다.

ABSTRACT

Existing analysis work in machine reading comprehension (MRC) is largely concerned with evaluating the capabilities of systems. However, the capabilities of datasets are not assessed for benchmarking language understanding precisely. We propose a semi-automated, ablation-based methodology for this challenge; By checking whether questions can be solved even after removing features associated with a skill requisite for language understanding, we evaluate to what degree the questions do not require the skill. Experiments on 10 datasets (e.g., CoQA, SQuAD v2.0, and RACE) with a strong baseline model show that, for example, the relative scores of a baseline model provided with content words only and with shuffled sentence words in the context are on average 89.2% and 78.5% of the original score, respectively. These results suggest that most of the questions already answered correctly by the model do not necessarily require grammatical and complex reasoning. For precise benchmarking, MRC datasets will need to take extra care in their design to ensure that questions can correctly evaluate the intended skills.

연구 동기 및 목표

• MRC 데이터셋이 진정으로 언어 이해 능력을 평가하는 데 얼마나 효과적인지에 대한 체계적 평가 부족 문제를 해결하기 위해.
• 기존 MRC 질문들이 복잡한 추론이나 문법적 이해가 필요한지, 아니면 표면적 패턴을 통해 해결될 수 있는지 조사하기 위해.
• 필수 기술 기반으로 평가 가능한 확장 가능한 반자동 방법론을 개발하기 위해.
• 모델이 의도된 NLU 능력을 습득하지 않아도 성공할 수 있도록 하는 현재 데이터셋의 설계 결함을 특정하기 위해.

제안 방법

• 특정 언어적 기술과 관련된 기능을 체계적으로 제거하는 반자동 분석 기반의 방법론을 제안하며, 입력 텍스트와 질문을 수정하여 특정 언어적 기능을 제거한다.
• 핵심적 기술 12개를 정의하며, 이는 공명 해결, 시간적 추론, 어휘 유추 등 독해 및 추론 카테고리로 분류된다.
• 모델의 강건성 테스트를 위해 어휘 익명화, 문장 뒤섞기, 품사(POS) 태깅 등의 입력 분석 기법을 적용한다.
• 강력한 베이스라인 모델(예: BERT 기반)을 사용하여 분석된 입력에서의 성능을 평가하고, 원래 성능 대비 상대적 점수를 비교한다.
• 인간의 주석을 활용하여 분석된 기능의 재구성 가능성을 평가하고, 정답을 내기 위해 필수적인지 여부를 판단하며, 기능이 추측 가능하거나 필수적인지의 여부를 구분한다.
• 추출형 및 다중선택형 두 가지 답변 스타일을 고려하여 10개의 기존 MRC 데이터셋(예: CoQA, SQuAD v2.0, RACE)을 분석한다.

실험 결과

연구 질문

• RQ1 기존 MRC 데이터셋이 정답을 내기 위해 핵심적 언어 이해 능력—예를 들어 공명 해결, 인과적 추론—을 얼마나 요구하는가?
• RQ2 강력한 베이스라인 모델이 어휘 단어를 제거하거나 문장 순서를 뒤섞은 후에도 MRC 질문을 해결할 수 있는가? 이는 표면적 패턴에 의존하는지를 시사한다.
• RQ3 분석된 기능(예: 기능어, 단어 순서)은 인간이 재구성할 수 있는가? 그리고 정답을 내기 위해 실제로 필수적인가?
• RQ4 분석된 입력에서의 상대적 성능 점수는 MRC 데이터셋이 복잡한 NLU 능력을 평가하는 데 얼마나 효과적인지 반영하는가?
• RQ5 MRC 데이터셋이 의도된 언어 이해 능력을 올바르게 평가하기 위해 따라야 할 설계 원칙은 무엇인가?

주요 결과

• 기본 모델은 맥락과 질문에서 어휘만 유지된 경우 평균적으로 원래 F1 점수의 89.2%를 기록했으며, 이는 표면적 신호에 강력하게 반응함을 시사한다.
• 문장 내 단어 순서를 뒤섞은 경우 성능은 원래 점수의 78.5%로 떨어졌으며, 이는 단어 순서와 문법적 구조가 항상 정답을 내는 데 필수적이지 않음을 시사한다.
• 뒤섞인 문장 순서에서의 성능는 원래 점수의 95.4%였으며, 이는 문장 수준의 문법적 구조가 모델의 성공에 자주 필수적이지 않음을 시사한다.
• 인간 주석 분석 결과, 대부분의 질문에서 분석된 기능(예: 기능어)은 재구성 가능하지 않았으며, 심지어 추측 가능하더라도 정답을 내기 위해 필수적인 것은 아니었다.
• Case δ(재구성 가능하고 필수적인 기능)에 속하는 질문은 발견되지 않았으며, 이는 대부분의 질문이 깊이 있는 언어 이해 없이도 해결될 수 있음을 의미한다.
• 결과적으로, 많은 기존 MRC 질문들이 복잡한 언어 이해 능력을 평가하는 데 부적절하며, 모델들이 진정한 이해가 아닌 패턴 매칭을 통해 성공할 수 있음을 시사한다.