[논문 리뷰] Generating Distractors for Reading Comprehension Questions from Real Examinations

Yifan Gao, Lidong Bing외 3명|arXiv (Cornell University)|2018. 09. 08.

Topic Modeling참고 문헌 22인용 수 13

한 줄 요약

이 논문은 실제 시험에서 사용되는 다중 선택 독해 문제에 대해 장문의 의미적으로 풍부한 오답 선택지를 생성하기 위해 동적 및 정적 주의 메커니즘을 갖춘 계층적 인코더-디코더 모델을 제안한다. 모델은 자동 평가와 인간 평가 모두에서 강력한 베이스라인을 능가하며, 맥락적으로 관련성 있고 문법적으로 올바른 오답 선택지를 생성하여 인간이 작성한 것과 구별하기 어려운 수준의 성능을 보인다.

ABSTRACT

We investigate the task of distractor generation for multiple choice reading comprehension questions from examinations. In contrast to all previous works, we do not aim at preparing words or short phrases distractors, instead, we endeavor to generate longer and semantic-rich distractors which are closer to distractors in real reading comprehension from examinations. Taking a reading comprehension article, a pair of question and its correct option as input, our goal is to generate several distractors which are somehow related to the answer, consistent with the semantic context of the question and have some trace in the article. We propose a hierarchical encoder-decoder framework with static and dynamic attention mechanisms to tackle this task. Specifically, the dynamic attention can combine sentence-level and word-level attention varying at each recurrent time step to generate a more readable sequence. The static attention is to modulate the dynamic attention not to focus on question irrelevant sentences or sentences which contribute to the correct option. Our proposed framework outperforms several strong baselines on the first prepared distractor generation dataset of real reading comprehension questions. For human evaluation, compared with those distractors generated by baselines, our generated distractors are more functional to confuse the annotators.

연구 동기 및 목표

• 짧은 단어나 어구 수준의 오답 선택지가 아닌, 실제 시험 스타일의 다중 선택 독해 문제에 대해 장문의 의미적으로 풍부한 오답 선택지를 생성하는 도전 과제를 해결한다.
• 기존의 추출-선택 또는 규칙 기반 방법의 한계를 극복하여 맥락적으로 일관되고 문법적으로 올바른 오답 선택지를 생성하지 못하는 문제를 해결한다.
• 생성된 오답 선택지가 정답과 의미적으로 관련이 있으며, 질문의 맥락과 일치하고, 원본 기사에 흔적을 담고 있음을 보장한다.
• 오답 선택지의 현실성과 혼동 가능성(Confusion Potential)을 향상시켜 실제 평가에서 인간이 설계한 선택지와 유사하게 모의 시험 환경을 구현한다. 예를 들어 RACE 데이터셋과 같은 실제 평가 자료를 대상으로 한다.
• 기사-질문-정답 쌍으로부터 직접 오답 선택지를 생성하는 데이터 기반의 시퀀스-투-시퀀스 프레임워크를 개발한다.

제안 방법

• 독해 기사의 장거리 의존성을 모델링하기 위해 계층적 인코더-디코더 아키텍처를 사용하여 문장 수준와 단어 수준의 표현을 모두 캡처한다.
• 각 디코딩 단계에서 문장 수준과 단어 수준의 주의를 적응적으로 조합하는 동적 주의 메커니즘을 도입하여 더 유창하고 난이도가 낮은 오답 선택지 시퀀스를 생성한다.
• 질문과 관련이 없는 문장이나 정답을 구성하는 문장을 억제하기 위해 정적 주의 메커니즘을 설계하여 모델이 정답 선택지를 그대로 복사하거나 약간의 변형을 가한 선택지를 생성하는 것을 방지한다.
• 질문 기반 초기화기를 사용하여 디코딩 과정을 질문에 조건화함으로써 생성된 오답 선택지가 질문의 의미적 의도와 관련이 있도록 보장한다.
• 실제 시험 다중선택문제로 구성된 새로운 데이터셋을 사용하여 시퀀스-투-시퀀스 학습을 통해 모델을 종합적으로 훈련시키며, 유창성과 관련성 최적화를 목표로 한다.
• 자동 평가 지표(예: BLEU, ROUGE)와 인간 평가를 모두 활용하여 생성된 오답 선택지의 품질과 혼동 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 계층적 주의를 갖춘 시퀀스-투-시퀀스 모델은 실제 시험 스타일의 독해 다중선택문제에 대해 장문의 맥락적으로 관련성 있고 문법적으로 올바른 오답 선택지를 생성할 수 있는가?
• RQ2 동적 주의 메커니즘이 문장 수준와 단어 수준의 맥락을 어떻게 조합하여 생성된 오답 선택지의 유창성과 일관성을 향상시키는가?
• RQ3 정적 주의 메커니즘이 정답 관련 문장에 대한 주의를 얼마나 효과적으로 억제하며, 모델이 정답을 그대로 복사하거나 약간의 변형을 가한 선택지를 생성하는 것을 방지하는가?
• RQ4 인간 평가자들이 보았을 때 생성된 오답 선택지는 인간이 작성한 오답 선택지와 비교해 어떤 정도의 혼동 가능성을 가지는가?
• RQ5 제안된 프레임워크는 실제 세계의 오답 선택지 생성 작업에서 자동 평가와 인간 평가 모두에서 기존의 베이스라인을 능가하는가?

주요 결과

• 제안된 모델은 실질적으로 첫 번째로 공개된 실제 시험 오답 선택지 생성을 위한 데이터셋에서 BLEU와 ROUGE와 같은 자동 평가 지표에서 강력한 베이스라인인 Seq2Seq와 HRED를 모두 능가한다.
• 인간 평가 결과, 제안된 모델이 생성한 오답 선택지는 다른 베이스라인 대비 평가자들을 더 효과적으로 혼동시키며, 모든 방법 중에서 가장 높은 혼동률을 기록했다.
• 정적 주의 메커니즘이 정답을 포함한 문장에 대한 주의를 성공적으로 억제하여 의미적으로 동일하거나 약간의 어색한 변형을 가한 오답 선택지를 생성할 위험을 줄였다.
• 사례 연구를 통해 모델이 기사의 관련 문장과 의미적으로 연결된 오답 선택지를 생성하는 것으로 확인되었으며, 빈도가 높은 단어나 관련 없는 용어에 과도하게 의존하지는 않았다.
• 특히 다중 문장 추론이 필요한 추론 기반 질문에서는 맥락적으로 더 일관되고 문법적으로 더 정확한 오답 선택지를 생성하였다.
• 모델의 인간 평가 혼동률은 42.5%로, HRED의 35.6%와 Seq2Seq의 28.9%보다 높아, 더 뛰어난 현실성과 효과성을 보였다.