[논문 리뷰] Learning to Ask: Neural Question Generation for Reading Comprehension

Xinya Du, Junru Shao외 1명|arXiv (Cornell University)|2017. 04. 29.

Topic Modeling참고 문헌 22인용 수 111

한 줄 요약

이 논문은 문장(및 선택적으로 단락)으로부터 자연스럽고 정보적인 질문을 생성하기 위한 주의(attention)를 갖춘 엔드-투-엔드 신경 시퀀스-투-시퀀스 모델을 제시하여 읽기 이해를 돕고, SQuAD에서 베이스라인 대비 최첨단 성능을 달성했다.

ABSTRACT

We study automatic question generation for sentences from text passages in reading comprehension. We introduce an attention-based sequence learning model for the task and investigate the effect of encoding sentence- vs. paragraph-level information. In contrast to all previous work, our model does not rely on hand-crafted rules or a sophisticated NLP pipeline; it is instead trainable end-to-end via sequence-to-sequence learning. Automatic evaluation results show that our system significantly outperforms the state-of-the-art rule-based system. In human evaluations, questions generated by our system are also rated as being more natural (i.e., grammaticality, fluency) and as more difficult to answer (in terms of syntactic and lexical divergence from the original text and reasoning needed to answer).

연구 동기 및 목표

• 읽기 이해와 데이터 세트 생성을 지원하기 위한 자동 질의 생성의 필요성 제시.
• 질문 생성(QG)을 위한 핸드크래프트 규칙에 의존하지 않는 엔드-투-엔드 신경 모델 개발.
• QG를 위한 문장-대 문단 인코딩 비교 연구.
• 자동 메트릭과 인간 판단을 활용하여 베이스라인과 모델 평가.

제안 방법

• P(y|x)를 모델링하기 위해 전역 어텐션 메커니즘을 갖춘 어텐션 기반 인코더-디코더를 사용.
• 두 가지 변형: 문장 단위 인코딩과 문장+단락 단위 인코딩(Y-자형 네트워크).
• 문장을 양방향 LSTM으로 인코딩하고 디코딩을 위한 어텐션 기반 컨텍스트 벡터를 계산.
• 필요시 잘려진 단락을 또 다른 양방향 LSTM으로 인코딩하고 디코더 초기화를 위한 표현을 연결.
• 교사 강제(teacher forcing)로 음의 로그 가능도 최소화 학습; 빔 검색으로 디코딩하고 어텐션을 사용한 간단한 UNK 교체.

실험 결과

연구 질문

• RQ1 완전 데이터 주도형 신경 QG 모델이 읽기 이해 데이터에서 규칙 기반 및 SMT 기반 베이스라인보다 성능이 우수할 수 있는가?
• RQ2 단락 수준 정보를 도입하면 문장 전용 인코딩에 비해 질문 생성 품질이 향상되는가?
• RQ3 사전 학습 임베딩이 이 QG 설정에서 생성 품질에 어떤 영향을 미치는가?
• RQ4 SQuAD로부터 파생된 데이터에 대해 엔드-투-엔드 신경 QG와 overgenerate-and-rank 베이스라인의 상대적 성능은 어떠한가?

주요 결과

모델	BLEU-1	BLEU-2	BLEU-3	BLEU-4	METEOR	ROUGE-L
IR BM25	5.18	0.91	0.28	0.12	4.57	9.16
IR Edit Distance	18.28	5.48	2.26	1.06	7.73	20.77
MOSES+	15.61	3.64	1.00	0.30	10.47	17.82
DirectIn	31.71	21.18	15.11	11.20	14.95	22.47
H&S	38.50	22.80	15.52	11.18	15.95	30.98
Vanilla seq2seq	31.34	13.79	7.36	4.26	9.88	29.75
Our model (no pre-trained)	41.00	23.78	15.71	10.80	15.17	37.95
Our model (w/ pre-trained)	43.09	25.96	17.50	12.28	16.62	39.75
+ paragraph	42.54	25.33	16.98	11.86	16.28	39.37

• 문장 전용 모델(사전 학습 임베딩 포함)이 자동 메트릭 전반에서 최고의 성능을 달성한다.
• 단락 정보는 일반적으로 단락-카테고리 질문에 도움을 주지만 노이즈를 도입하는 경우도 있어 전체 메트릭이 감소하는 경우가 있다.
• 제안된 신경 모델은 BLEU, METEOR, ROUGE-L 메트릭에서 IR, MOSES+, H&S 베이스라인보다 우수하다.
• 인간 평가자들은 신경 모델이 생성한 질문이 H&S 시스템보다 더 자연스럽고 대답하기 어려운 것으로 평가했고, 전반적으로 신경 모델이 더 높은 순위를 얻었다.
• 사전 학습 임베딩을 추가하면 성능이 향상되고, 단락 정보를 인코딩하는 효과는 질문 유형에 따라 혼재된 결과를 보인다.