[논문 리뷰] Simplifying Paragraph-level Question Generation via Transformer Language Models

Luis Enrico Lopez, Diane Kathryn Cruz외 2명|arXiv (Cornell University)|2020. 05. 03.

Topic Modeling참고 문헌 17인용 수 4

한 줄 요약

이 논문은 추가 메커니즘, 답변 메타데이터, 또는 복잡한 아키텍처 없이 단일 파인튜닝된 트랜스포머 언어 모델만을 사용하여 단락 수준의 질의 생성을 단순화한 접근법을 제안한다. 비록 단순하지만, 이 모델은 이전의 RNN 기반 Seq2Seq 모델보다 METEOR 점수에서 8.62점, ROUGE_L 점수에서 14.27점 높은 성능을 보이며, SQuAD v1.1에서 최신 기술 수준의 성능을 달성하고 있다. 또한 기존의 복잡한 아키텍처보다 훨씬 단순하다.

ABSTRACT

Question generation (QG) is a natural language generation task where a model is trained to ask questions corresponding to some input text. Most recent approaches frame QG as a sequence-to-sequence problem and rely on additional features and mechanisms to increase performance; however, these often increase model complexity, and can rely on auxiliary data unavailable in practical use. A single Transformer-based unidirectional language model leveraging transfer learning can be used to produce high quality questions while disposing of additional task-specific complexity. Our QG model, finetuned from GPT-2 Small, outperforms several paragraph-level QG baselines on the SQuAD dataset by 0.95 METEOR points. Human evaluators rated questions as easy to answer, relevant to their context paragraph, and corresponding well to natural human speech. Also introduced is a new set of baseline scores on the RACE dataset, which has not previously been used for QG tasks. Further experimentation with varying model capacities and datasets with non-identification type questions is recommended in order to further verify the robustness of pretrained Transformer-based LMs as question generators.

연구 동기 및 목표

• 복잡한 모델 아키텍처와 추가 기능을 피하는 더 단순하고 효율적인 질의 생성 시스템을 개발하기 위해.
• 단일 파인튜닝된 트랜스포머 언어 모델이 단락 수준의 질의 생성에서 더 복잡한 RNN 기반 Seq2Seq 모델을 능가할 수 있는지 평가하기 위해.
• 입력 포맷, 문맥 길이, 답변 인식 기능이 모델 성능에 미치는 영향을 조사하기 위해.
• 제안된 단일 모델 접근법의 실패 원인과 한계를 규명하기 위해.
• 기존 최신 기술 수준의 QG 시스템에 비해 경량이며, 더 빠르고 재현 가능성이 높은 대안을 제공하기 위해.

제안 방법

• SQuAD v1.1 데이터셋의 재포맷된 버전에 대해 GPT-2를 파인튜닝하여 질의 생성을 위한 단일 디코더 전용 트랜스포머 언어 모델을 구성한다.
• 자기회귀 언어 모델링을 모방하기 위해 SQuAD 데이터를 [SEP] 구분자로 연결된 연속 텍스트 시퀀스 형태로 재포맷한다.
• 학습을 위한 입력-출력 쌍을 구성하기 위해 OQPL(One Question Per Line) 및 AQPL(All Questions Per Line) 형식을 사용한다.
• 주의 마스크, 포인터 네트워크, 답변 태깅과 같은 추가 메커니즘 없이 표준 언어 모델링 파인튜닝을 적용한다.
• 표준 NLP 평가 지표인 BLEU-4, METEOR, ROUGE-L을 사용하여 성능을 평가한다.
• 성능 요인을 분리하기 위해 답변 인식, 입력 포맷, 문맥 길이에 대한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 추가 메커니즘(예: 답변 인식, 주의 마스크) 없이도 단일 파인튜닝된 트랜스포머 언어 모델이 높은 품질의 질문을 생성할 수 있는가?
• RQ2 입력 포맷(OQPL 대 AQPL)이 생성된 질문의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 문맥 단락의 길이가 모델이 정확하고 관련성이 높은 질문을 생성하는 능력에 유의미한 영향을 미치는가?
• RQ4 명시적인 메커니즘이 답변에 주의를 기울이는 데 도움이 되지 않는 상황에서 답변 인식 정보를 포함하면 성능에 어떤 영향을 미치는가?
• RQ5 모델의 주요 실패 원인은 무엇이며, 어떤 요소들이 생성 오류를 유발하는가?

주요 결과

• 제안된 단일 모델 접근법은 이전의 RNN 기반 Seq2Seq 모델보다 METEOR 점수에서 8.62점, ROUGE_L 점수에서 14.27점 높은 성능을 기록한다.
• 모델는 단일 디코더 기반 트랜스포머를 사용하고 답변 인식 메커니즘을 전혀 사용하지 않음에도 불구하고 SQuAD v1.1에서 경쟁 가능한 성능을 달성하며 최신 기술 수준의 결과를 도출한다.
• 답변 인식 파인튜닝은 BLEU-4에서 악화되고 ROUGE_L에서도 약간 악화되어, 명시적인 아키텍처 지원 없이선 답변 인식 기능을 효과적으로 활용하지 못한다는 점을 시사한다.
• 모델는 OQPL 형식에서 가장 우수한 성능을 보이며, 질문을 분리함으로써 학습 신호의 명확성과 생성 품질 향상이 가능하다는 것을 시사한다.
• 긴 문맥 단락은 생성 품질에 악영향을 미치며, 문맥 길이가 증가할수록 성능 저하가 관찰된다.
• 실패 원인으로는 답변의 환상, 잘못된 질문 구조 생성, 문맥과 관련 없는 질문 생성 등이 있으며, 주로 주의 분포의 잘못된 정렬이나 모호한 문맥으로 인해 발생한다.