[논문 리뷰] EQG-RACE: Examination-Type Question Generation

Xin Jia, Wenjie Zhou외 2명|arXiv (Cornell University)|2020. 12. 11.

Topic Modeling참고 문헌 46인용 수 6

한 줄 요약

이 논문은 RACE 데이터셋에서 추론 및 장기적 맥락 이해를 강조하는 시험 유형의 질문을 생성하기 위해 새로운 질문 생성 프레임워크인 EQG-RACE를 제안한다. 답변 관련 내용을 국소화하기 위해 원시 답변과 핵심 문장 태깅 기법을 도입하였고, 답변 지시형 그래프 컨volution 네트워크(AG-GCN)를 설계하여 문장 간 및 문장 내 관계를 모델링하여 새로운 고품질 QG 벤치마크 데이터셋에서 최고 성능을 달성하였다.

ABSTRACT

Question Generation (QG) is an essential component of the automatic intelligent tutoring systems, which aims to generate high-quality questions for facilitating the reading practice and assessments. However, existing QG technologies encounter several key issues concerning the biased and unnatural language sources of datasets which are mainly obtained from the Web (e.g. SQuAD). In this paper, we propose an innovative Examination-type Question Generation approach (EQG-RACE) to generate exam-like questions based on a dataset extracted from RACE. Two main strategies are employed in EQG-RACE for dealing with discrete answer information and reasoning among long contexts. A Rough Answer and Key Sentence Tagging scheme is utilized to enhance the representations of input. An Answer-guided Graph Convolutional Network (AG-GCN) is designed to capture structure information in revealing the inter-sentences and intra-sentence relations. Experimental results show a state-of-the-art performance of EQG-RACE, which is apparently superior to the baselines. In addition, our work has established a new QG prototype with a reshaped dataset and QG method, which provides an important benchmark for related research in future work. We will make our data and code publicly available for further research.

연구 동기 및 목표

• SQuAD와 같은 웹 기반 QA 데이터셋에서 훈련된 기존 질문 생성 모델의 한계를 해결하기 위해, 실질적인 교육 시험 환경에 적합하지 않은 문제 유형에 대비한다.
• 실제 시험 환경과의 일치도를 높이기 위해 특정 유형(Specific-style) 질문에만 집중하는 고품질의 도메인 전용 QG 데이터셋을 RACE 데이터셋에서 구축한다.
• 장기적인 문장 수준의 답변과 복잡한 추론을 다수의 문장에 걸쳐 생성하는 데 도전하는 문제를 해결한다.
• 답변 중심의 질문 생성을 위해 맥락 문장 내의 구조적 및 상관관계 정보를 효과적으로 캡처하는 방법을 설계한다.
• 공개된 데이터와 코드를 포함한 새로운 시험 유형 질문 생성 벤치마크를 구축한다.

제안 방법

• 답변 관련 단어와 문장을 식별하고 강조하기 위해 원시 답변과 핵심 문장 태깅 기법을 사용하여 후속 생성에 대한 입력 표현을 향상시킨다.
• 답변 관련 구조에 초점을 맞춰 장기 맥락 내의 추론 성능을 향상시키기 위해 답변 지시형 그래프 컨볼루션 네트워크(AG-GCN)를 설계한다.
• 노드는 단어 또는 문장을 나타내고, 간선은 답변에 대한 관련성에 따라 가중치가 매겨지는 동적 그래프를 구성하여 주목력이 중요한 정보에 집중하도록 한다.
• 그래프 인코딩된 맥락 표현을 통합한 시퀀스-투-시퀀스 생성 모델을 활용하여 문법적으로 정확하고 맥락에 부합하는 질문을 생성한다.
• 인코더에 답변 위치, 형태소 분석(POS), 명명된 엔티티 인식(NER) 특징을 통합하여 답변 인식 능력을 향상시킨다.
• 모델은 Cloze 및 General-style 질문과 간섭 요소를 제외한 정제된 RACE 데이터셋의 버전에서 훈련 및 평가되어 특정 유형 질문에 집중한다.

실험 결과

연구 질문

• RQ1 SQuAD와 같은 웹 기반 QA 데이터셋에서 훈련된 질문 생성 모델이 실제 교육 시험 환경의 시험 유형 질문으로 일반화되는가?
• RQ2 답변이 짧은 스파이크가 아니라 긴 어휘나 완전한 문장일 경우, 답변 표현을 어떻게 향상시킬 수 있는가?
• RQ3 그래프 기반 모델링이 장기 맥락 문장에서 다수의 문장 간 추론을 향상시키는 데 얼마나 기여하는가?
• RQ4 원거리 감독과 그래프 컨볼루션 네트워크의 조합이 실제 시험 환경에서 생성된 질문의 품질과 정확도를 향상시키는가?
• RQ5 제안된 방법은 복잡한 추론 요구 사항을 가진 시험 유형 질문 생성에서 기존 최고 성능(SOTA) 방법과 비교해 어떻게 성능을 냅니까?

주요 결과

• EQG-RACE는 새로 구축된 EQG-RACE 벤치마크에서 최고 성능을 기록하며, 기존 베이스라인에 비해 시험 유형 질문 생성에서 뚜렷한 우월성을 보였다.
• 특히 답변이 여러 문장에 산재해 있는 질문에 대해 다중 문장 추론이 필요한 경우 뛰어난 성능을 보였다.
• 답변 지시형 그래프 컨볼루션 네트워크(AG-GCN)는 문장 간 관계를 효과적으로 캡처하여 표준 시퀀스-투-시퀀스 모델 대비 질문 품질을 향상시켰다.
• 원시 답변 및 핵심 문장 태깅 기법은 장기 문장에서 답변 관련 내용의 국소화를 향상시켜 모델 성능을 향상시켰다.
• 특히 다수의 문장에서의 통합이 필요한 복잡한 추론 중심 질문에 대해 기존 베이스라인보다 더 정확하고 맥락에 부합하는 질문을 생성하였다.
• 저자들은 처리된 EQG-RACE 데이터셋과 코드를 공개하여 향후 시험 유형 질문 생성 분야의 연구를 위한 새로운 기준을 마련하였다.