[논문 리뷰] Question Generation from Paragraphs: A Tale of Two Hierarchical Models

Vishwajeet Kumar, Raktim Chaki외 4명|arXiv (Cornell University)|2019. 11. 08.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 단락 수준의 질문 생성을 위한 두 가지 새로운 계층적 모델을 제안한다: 선택적 주의 메커니즘을 갖춘 계층적 BiLSTM 및 계층적 Transformer 아키텍처. 두 모델 모두 문장 내 단어와 문장 간 단락을 계층적으로 처리하여 주의 메커니즘을 활용해 관련성과 유창성을 향상시킨다. 계층적 Transformer는 문법적 및 의미적 정확성에서 모든 기준 모델을 앞서며, 계층적 BiLSTM는 가장 높은 관련성 점수를 기록하여 장기간의 문맥을 고려한 질문 생성에 있어 계층적 모델링의 효과성을 입증한다.

ABSTRACT

Automatic question generation from paragraphs is an important and challenging problem, particularly due to the long context from paragraphs. In this paper, we propose and study two hierarchical models for the task of question generation from paragraphs. Specifically, we propose (a) a novel hierarchical BiLSTM model with selective attention and (b) a novel hierarchical Transformer architecture, both of which learn hierarchical representations of paragraphs. We model a paragraph in terms of its constituent sentences, and a sentence in terms of its constituent words. While the introduction of the attention mechanism benefits the hierarchical BiLSTM model, the hierarchical Transformer, with its inherent attention and positional encoding mechanisms also performs better than flat transformer model. We conducted empirical evaluation on the widely used SQuAD and MS MARCO datasets using standard metrics. The results demonstrate the overall effectiveness of the hierarchical models over their flat counterparts. Qualitatively, our hierarchical models are able to generate fluent and relevant questions

연구 동기 및 목표

• 장기간의 단락 수준 텍스트에서 고품질이고 관련성이 높은 질문을 생성하는 데 도전하는 것. 이는 문장 수준의 질문 생성에 비해 아직 다루어지지 않은 과제이다.
• 문단을 문장의 시퀀스로, 문장을 단어의 시퀀스로 모델링하는 계층적 신경망 아키텍처를 설계하여 장거리 의존성을 더 효과적으로 포착하는 것.
• 평탄한 시퀀스 모델 대비 계층적 주의 메커니즘이 질문의 관련성과 유창성 향상에 기여하는지 평가하는 것.
• SQuAD 및 MS MARCO 데이터셋에서 자동 평가 및 인간 평가 지표를 바탕으로 계층적 BiLSTM 및 Transformer 모델의 성능을 비교하는 것.

제안 방법

• 계층적 BiLSTM 모델(HierSeq2Seq + AE)은 각 문장의 단어를 BiLSTM으로 인코딩한 후, 또 다른 BiLSTM를 사용해 문장을 단일 문단 수준 표현으로 인코딩하며, 중요한 내용에 집중하기 위해 단어 수준 및 문장 수준의 선택적 주의 메커니즘을 적용한다.
• 계층적 Transformer 모델(HierTransSeq2Seq + AE)은 단어 수준 및 문장 수준에서 다중 헤드 주의 메커니즘을 사용해 계층적 표현을 구축하며, 순서 정보를 유지하기 위해 위치 인코딩을 통합한다.
• 선택적 주의 메커니즘이 단어 수준 및 문장 수준에서 동적으로 질문 생성에 관련된 중요한 토큰과 문장을 집중적으로 처리하도록 적용된다.
• 모델들은 훈련 안정성 향상과 더불어 더 자연스러운 질문 생성을 위해 자동 인코딩(AE) 기법을 사용한다.
• 두 모델 모두 어텐션 기반 인코더-디코더 프레임워크를 사용해 엔드 투 엔드로 훈련되며, 자동 평가 지표(BLEU, ROUGE) 및 인간 평가를 최적화한다.
• 모델은 표준 자동 평가 지표와 인간 평가를 통해 SQuAD 및 MS MARCO 데이터셋에서 평가되며, 문법, 의미 및 관련성 측면에서 평가된다.

실험 결과

연구 질문

• RQ1 문장을 단위로, 문장 내 단어를 처리하는 방식의 계층적 모델링이 평탄한 시퀀스 모델 대비 질문 생성 품질을 향상시키는가?
• RQ2 단어 수준 및 문장 수준의 선택적 주의 메커니즘이 계층적 BiLSTM 및 Transformer 모델에서 생성된 질문의 관련성과 유창성에 어떻게 기여하는가?
• RQ3 계층적 Transformer 아키텍처가 계층적 BiLSTM보다 문법적 및 의미적으로 정확한 질문 생성에서 뛰어난 성능을 보이는가?
• RQ4 계층적 모델이 자동 평가와 인간 평가 지표 간의 성능 격차를 어느 정도 줄이는가?
• RQ5 계층적 모델의 실패 유형은 무엇이며, 이는 장기간의 문맥 모델링과 주의 메커니즘과 어떻게 관련이 있는가?

주요 결과

• 계층적 BiLSTM 모델(HierSeq2Seq + AE)은 SQuAD 데이터셋에서 BLEU2–BLEU4 지표에서 최고 성능을 기록했으며, MS MARCO 데이터셋의 모든 자동 평가 지표에서 일관되게 뛰어난 성능을 보였다.
• 계층적 Transformer 모델(HierTransSeq2Seq + AE)은 SQuAD 및 MS MARCO 데이터셋에서 인간 평가에서 문법적 정확성과 의미적 정확성에서 모든 기준 모델을 앞섰으며, SQuAD에서의 문법 점수는 86, 의미 점수는 73.33을 기록했다.
• 인간 평가에서 계층적 BiLSTM 모델은 SQuAD에서 51.33, MS MARCO에서 50.00의 최고 관련성 점수를 기록하여 입력 단락과의 관련성에서 다른 모델을 크게 앞섰다.
• MS MARCO 데이터셋에서 계층적 BiLSTM 모델은 모든 자동 평가 지표에서 계층적 Transformer 모델을 앞섰으며, 이는 데이터셋에 따라 성능 차이가 존재함을 시사한다.
• 계층적 모델은 자동 평가 및 인간 평가 양 측면에서 평탄한 모델 대비 뚜렷한 성능 향상을 보였으며, 이는 장기간의 문맥 질문 생성에 있어 계층적 표현 학습이 핵심임을 입증한다.
• 인간 평가 결과, 계층적 Transformer 모델은 문법 평가에서 가장 높은 평가자 간 일치도(kappa = 0.87)를 기록하여 문법 정확성에 대해 강한 공감대를 형성했다.