[논문 리뷰] Towards Automatic Generation of Questions from Long Answers

Shlok Mishra, Pranav Goel외 4명|arXiv (Cornell University)|2020. 04. 10.

Topic Modeling참고 문헌 57인용 수 7

한 줄 요약

이 논문은 Google Natural Questions 데이터셋을 사용하여 4문장 이상의 장문에 대한 자동 질문 생성(AQG)을 위한 첫 번째 벤치마크를 소개한다. 기존 AQG 모델—특히 트랜스포머 기반 모델—가 답변 길이가 길어질수록 성능이 떨어지는 것으로 나타났다. 트랜스포머 모델은 RNN보다 자동 평가와 인간 평가에서 모두 슈퍼리어한 성능을 보였지만, 더 긴 맥락에서 성능 저하가 발생함을 확인하여, 장문 질문 생성은 여전히 도전적인 열린 문제로 남아 있음을 시사한다.

ABSTRACT

Automatic question generation (AQG) has broad applicability in domains such as tutoring systems, conversational agents, healthcare literacy, and information retrieval. Existing efforts at AQG have been limited to short answer lengths of up to two or three sentences. However, several real-world applications require question generation from answers that span several sentences. Therefore, we propose a novel evaluation benchmark to assess the performance of existing AQG systems for long-text answers. We leverage the large-scale open-source Google Natural Questions dataset to create the aforementioned long-answer AQG benchmark. We empirically demonstrate that the performance of existing AQG methods significantly degrades as the length of the answer increases. Transformer-based methods outperform other existing AQG methods on long answers in terms of automatic as well as human evaluation. However, we still observe degradation in the performance of our best performing models with increasing sentence length, suggesting that long answer QA is a challenging benchmark task for future research.

연구 동기 및 목표

• 장문(4문장 이상)에 대한 자동 질문 생성(AQG)을 위한 대규모 데이터셋과 벤치마크의 부족을 보완하기 위해.
• 교육, 헬스케어, 정보 검색 분야에서 흔한 장문 입력에 대해 기존 AQG 모델의 성능을 평가하기 위해.
• 특히 복사 메커니즘에 의존하는 기존 AQG 기법이 장문 설정으로 일반화되는지 조사하기 위해.
• 요약문이나 첫 문장과 같은 구조적 특징을 보조 입력으로 사용했을 때 장문 질문 생성에 어떤 영향을 미치는지 탐색하기 위해.

제안 방법

• 위키피디아 문단에서 유래한 장문의 답변 스팸을 포함한 Google Natural Questions(NQ) 데이터셋을 활용해 장문 AQG 벤치마크를 구축했다.
• RNN 기반 시퀀스-투-시퀀스 모델과 트랜스포머 기반 모델을 포함한 다양한 기존 AQG 모델을 장문 설정에서 평가했다.
• 장문의 답변과 추가 신호(예: 요약문 또는 첫 문장)를 모두 입력으로 사용하는 다중 소스 트랜스포머 아키텍처를 적용해 생성 성능을 향상시켰다.
• 자동 평가 지표(BLEU, ROUGE)와 인간 평가를 활용해 다양한 답변 길이에서 질문 품질을 평가했다.
• 짧은 답변 설정에서 성공한 복사 메커니즘과 포인터 네트워크가 장문 생성에서는 어떻게 작동하는지 비교 분석했다.

실험 결과

연구 질문

• RQ1 기존 AQG 모델은 짧은 답변 대비 장문(4문장 이상)에 대해 질문을 생성할 때 어떻게 성능을 내는가?
• RQ2 장문 질문 생성 설정에서 트랜스포머 기반 모델이 RNN 기반 모델보다 우수한가?
• RQ3 요약문이나 답변의 첫 문장을 보조 입력으로 통합하면 장문에 대한 질문 생성 품질이 향상되는가?
• RQ4 짧은 답변 AQG에서 효과적인 복사 메커니즘이 장문 생성에서는 왜 실패하거나 성능 저하를 초래하는가?

주요 결과

• 트랜스포머 기반 모델은 장문 질문 생성에서 자동 평가 지표(BLEU, ROUGE)와 인간 평가 모두에서 RNN 기반 모델보다 뚜렷이 슈퍼리어한 성능을 보였다.
• 모든 AQG 모델, 심지어 최상의 트랜스포머 모델까지도 답변 길이가 길어질수록 성능이 저하됨을 확인하여, 장문 질문 생성은 여전히 도전적인 과제임을 시사한다.
• 짧은 답변 생성에서 성능 향상을 도와주는 복사 메커니즘은 장문 설정에서는 도움이 되지 않으며, 오히려 성능 저하를 유발할 수 있다.
• 요약문이나 답변의 첫 문장을 보조 입력으로 사용해도 모델 성능 향상이 없었으며, 이는 이러한 신호가 장문 맥락 생성에 한계가 있음을 시사한다.
• 본 연구는 Google Natural Questions 코퍼스를 활용해 장문 질문 생성을 위한 첫 번째 종합적인 벤치마크를 수립하여, 이 분야에서 아직 탐색되지 않은 향후 연구를 가능하게 했다.