[논문 리뷰] Recent Advances in Neural Question Generation

Liangming Pan, Wenqiang Lei외 2명|arXiv (Cornell University)|2019. 05. 22.

Topic Modeling참고 문헌 74인용 수 83

한 줄 요약

이 논문은 신경망 기반 질문 생성(NQG)을 조사하며 학습 패러다임, 입력 모달리티, 인지 수준을 상세히 다루고, 말뭉치, 평가, 방법 및 다중 작업 학습, 더 넓은 입력, 심층 질문을 포함한 새로운 경향을 논의한다.

ABSTRACT

Emerging research in Neural Question Generation (NQG) has started to integrate a larger variety of inputs, and generating questions requiring higher levels of cognition. These trends point to NQG as a bellwether for NLP, about how human intelligence embodies the skills of curiosity and integration. We present a comprehensive survey of neural question generation, examining the corpora, methodologies, and evaluation methods. From this, we elaborate on what we see as emerging on NQG's trend: in terms of the learning paradigms, input modalities, and cognitive levels considered by NQG. We end by pointing out the potential directions ahead.

연구 동기 및 목표

• NQG에서 학습 패러다임의 진화와 신경망 모델이 콘텐츠 선택과 질문 구성의 공동 학습을 어떻게 수행하는지 평가합니다.
• pure text를 넘어(KB, 이미지 등) NQG에 사용되는 입력 모달리티의 다양성 및 성능에 대한 영향을 조사합니다.
• 자동 평가 지표와 인간 판단 사이의 간극을 식별하고 NQG 평가 지표를 분석합니다.
• 일반적인 신경망 아키텍처와 구성요소(NQG에서의 Seq2Seq+주의, 복사, 정책 그래디언트)의 활용과 효과를 요약합니다.
• 심층 질문 및 교차 작업 이점 등 emerging trends와 미래 방향을 강조합니다.

제안 방법

• NQG를 위한 입력 X와 선택적 답변 A를 갖는 Seq2Seq 공식화를 설명합니다.
• 답변 인코딩 전략과 답변 위치 지시자 또는 별도의 인코더의 사용을 설명합니다.
• 질문 단어 생성 메커니즘과 이것이 질문 유형과 어떤 관련이 있는지 논의합니다.
• 게이트드 셀프 어텐션 및 관련 기술을 통한 문단 수준 맥락의 도입을 분석합니다.
• 콘텐츠 비의존적 NQG(콘텐츠 선택) 접근법과 그 도전 과제를 개괄합니다.
• NLG 기법(복사 메커니즘, 언어적 특징, 정책 그래디언트)과 SQuAD에서의 보고된 성능을 요약합니다.

실험 결과

연구 질문

• RQ1 NQG를 벤치마크하기 위해 사용되는 데이터셋과 인지 수준은 무엇이며, 이것이 성능에 어떤 영향을 주는가?
• RQ2 학습 패러다임과 입력 모달리티가 생성된 질문의 품질과 깊이에 어떤 영향을 미치는가?
• RQ3 표준 벤치마크에서 최상의 성능을 보이는 신경망 아키텍처와 구성요소(예: 답변 인코딩, 복사, 문단 맥락)는 무엇인가?
• RQ4 NQG가 얼마나 깊은(블룸의 분류학의 상위 수준) 질문을 생성할 수 있으며, 제약은 무엇인가?
• RQ5 NQG 평가 지표의 격차는 무엇이며 어떻게 개선할 수 있는가?

주요 결과

Model	BLEU-4	METEOR	ROUGE-L
Du et al. (2017)	12.28	16.62	39.75
Duan et al. (2017)	12.28	-	-
Zhou et al. (2017)	13.29	-	-
Yuan et al. (2017)	10.50	-	-
Wang et al. (2018)	13.86	18.38	44.37
Harrison and Walker (2018)	14.39	19.54	43.00
Kumar et al. (2018b)	16.17	19.85	43.90
Sun et al. (2018)	15.64	-	-
Zhao et al. (2018)	16.38	20.25	44.48
Du and Cardie (2018)	15.16	19.12	-
Song et al. (2018)	13.98	18.77	42.72
Kim et al. (2019)	16.20	19.92	43.96

• NQG 모델은 주로 주의가 있는 Seq2Seq 프레임워크를 따르며, 보통 답변 인코딩과 복사 메커니즘을 포함한다.
• 문단 수준의 맥락과 다면적 입력 표현은 SQuAD와 같은 표준 벤치마크에서 성능을 향상시킨다.
• 심층 질문 생성에 대한 열린 도전과제는 여전히 남아 있으며, 다문장 추론이나 외부 지식이 필요한 데이터셋에서의 성공은 제한적이다.
• 다중 작업 학습과 교차 작업 이점(예: QA, 요약)은 가능성을 보이나 목표의 균형 조정이 필요하다.
• BLEU/METEOR/ROUGE를 넘어서는 평가 지표가 필요하며, 답변 가능성과 질문 품질을 더 잘 포착해야 한다.
• 최신 방법은 답변 위치, 맥 context 어텐션, 고급 디코딩 전략을 통합하는 모델이며 BLEU-4 점수가 중-상대의 십대 초반에서 중반대, ROUGE-L은 40대대를 기록하는 것으로 보고되었다.