[논문 리뷰] What Makes Reading Comprehension Questions Easier?

Saku Sugawara, Kentaro Inui외 2명|arXiv (Cornell University)|2018. 08. 28.

Topic Modeling참고 문헌 26인용 수 15

한 줄 요약

이 연구는 최근 12개의 MRC 데이터셋을 쉽게 풀 수 있는 질문과 어려운 질문으로 나누기 위해 간단한 히ュ리스틱 기법인 실체 유형 식별과 주의 기반 문장 매칭을 적용하여, 왜 일부 기계 독해(MRC) 질문이 다른 질문보다 더 쉬운지 분석한다. 연구 결과, 어려운 질문은 지식 추론과 다중 문장 추론이 필요하며, 기준 모델은 어려운 질문 집합에서 성능이 크게 떨어지는 것으로 나타났다. 이는 현재의 MRC 벤치마크가 쉬운, 단서 기반 질문들이 과도하게 포함되어 있어 모델 능력을 과대평가할 수 있음을 시사한다.

ABSTRACT

A challenge in creating a dataset for machine reading comprehension (MRC) is to collect questions that require a sophisticated understanding of language to answer beyond using superficial cues. In this work, we investigate what makes questions easier across recent 12 MRC datasets with three question styles (answer extraction, description, and multiple choice). We propose to employ simple heuristics to split each dataset into easy and hard subsets and examine the performance of two baseline models for each of the subsets. We then manually annotate questions sampled from each subset with both validity and requisite reasoning skills to investigate which skills explain the difference between easy and hard questions. From this study, we observed that (i) the baseline performances for the hard subsets remarkably degrade compared to those of entire datasets, (ii) hard questions require knowledge inference and multiple-sentence reasoning in comparison with easy questions, and (iii) multiple-choice questions tend to require a broader range of reasoning skills than answer extraction and description questions. These results suggest that one might overestimate recent advances in MRC.

연구 동기 및 목표

• 최근 MRC 데이터셋에서 독해 질문의 난이도가 높거나 낮아지는 요인을 규명하는 것.
• 모델이 깊이 있는 이해 대신 얕은 단서를 악용할 수 있는 평가 과적합 및 의도치 않은 편향 문제를 해결하는 것.
• 현재 MRC 데이터셋이 진정으로 고도의 추론 능력을 테스트하는지, 아니면 단순한 패tern 기반 질문들로 지배되는지 평가하는 것.
• 답변 추출, 서술형, 다중 선택형 질문의 세 가지 유형 간 추론 요구 수준의 차이를 비교하는 것.
• 유효하고 도전적인 질문 유형을 식별하여 더 현실적인 MRC 데이터셋을 구성할 수 있는 프레임워크를 제공하는 것.

제안 방법

• 저자들은 두 가지 단순한 히ュ리스틱 기법을 제안한다: (1) 실체 유형 식별 — 특정한 답변 유형(예: 시간, 사람 등)이 필요한 질문을 식별하는 기법이며, (2) 주의 기반 문장 매칭 — 질문과 가장 유사한 문장을 식별하는 기법.
• 이 히ュ리스틱을 사용하여 12개의 MRC 데이터셋 각각을 단일 문장, 단서 기반 추론으로 해결 가능한지 여부에 따라 쉬운 집합과 어려운 집합으로 분할한다.
• 이중 기반 신경망 모델인 양방향 주의 흐름(Bidirectional Attention Flow)과 게이트형 주의 리더(Gated-Attention Reader)를 사용하여 쉬운 집합과 어려운 집합 모두에서 성능을 평가함으로써 어려운 질문에서의 성능 저하를 측정한다.
• 각 집합에서 샘플링한 질문들에 대해 수작업으로 분석을 수행하여 유효성과 필요로 하는 추론 능력(단어 매칭, 지식 추론, 다중 문장 추론 등)을 레이블링한다.
• 분석을 통해 질문 유형(답변 추출, 서술형, 다중 선택형) 간 추론 능력 분포의 차이를 비교하고, 이러한 능력이 모델 성능에 미치는 영향을 평가한다.
• 모델의 과적합을 방지하기 위해 작업 중심의 평가가 아닌 기술 중심의 평가 접근법을 사용하여, 데이터셋이 진정으로 깊은 이해 능력을 테스트하는지 평가한다.

실험 결과

연구 질문

• RQ1 현재 벤치마크 데이터셋에서 어떤 MRC 질문이 더 쉬운가?
• RQ2 깊은 추론이 필요한 어려운 질문에 직면했을 때 기준 모델의 성능이 얼마나 떨어지는가?
• RQ3 지식 추론이나 다중 문장 추론과 같은 추론 능력 중에서 어려운 질문이 주로 요구하는 능력은 무엇인가?
• RQ4 답변 추출, 서술형, 다중 선택형 질문 유형 간 추론 요구 수준과 해답 가능성은 어떻게 다를까?
• RQ5 현재 MRC 데이터셋이 표면적인 단서에 의존하여 모델 성능을 과대평가하고 있는 정도는 어느 정도인가?

주요 결과

• 기준 모델은 전체 데이터셋 대비 어려운 질문 집합에서 성능이 크게 떨어지며, 이는 어려운 질문이 상당히 더 어려운 것을 시사한다.
• 어려운 질문은 쉬운 질문보다 지식 추론과 다중 문장 추론이 훨씬 더 자주 요구되며, 쉬운 질문은 주로 단일 문장, 단어 매칭 전략으로 해결 가능하다.
• 다중 선택형 질문은 답변 추출형이나 서술형 질문보다 더 넓은 범위의 추론 능력이 요구되지만, 일반적으로 더 쉽게 해답 가능하고 모호성이 적다.
• 연구 결과, 현재 MRC 데이터셋은 쉬운, 단서 기반 질문들로 치우쳐 있어 자연어 이해 능력에 대한 모델 성능을 과대평가할 수 있음을 드러냈다.
• 히ュ리스틱 기반 분할 방법은 깊은 이해가 필요한 질문을 효과적으로 분리할 수 있으며, 데이터셋 분석 및 벤치마크 설계에 실용적인 도구로 기능한다.
• 수작업 분석을 통해 쉬운 질문은 주로 단어 매칭으로 해결 가능하며, 어려운 질문은 문장 간 정보 통합과 추론이 요구된다는 것이 확인되었다.