[논문 리뷰] Transformer-based End-to-End Question Generation.

Luis Enrico Lopez, Diane Kathryn Cruz외 2명|arXiv (Cornell University)|2020. 05. 03.

Topic Modeling참고 문헌 14인용 수 25

한 줄 요약

이 논문은 답변 메타데이터나 추가 메커니즘을 필요로 하지 않고도 복잡한 RNN 기반 Seq2Seq 모델을 능가하는 단순한, 단일 모델 기반의 Transformer 기반 엔드 투 엔드 질문 생성 방법을 제안한다. 단일 미세조정된 사전학습된 언어 모델을 통해 최신 기술 수준의 성능을 달성하였으며, METEOR 점수에서 8.62점, ROUGE_L 점수에서 14.27점의 향상을 기록하였다.

ABSTRACT

Question Generation (QG) is an important task in Natural Language Processing (NLP) that involves generating questions automatically when given a context paragraph. While many techniques exist for the task of QG, they employ complex model architectures, extensive features, and additional mechanisms to boost model performance. In this work, we show that transformer-based finetuning techniques can be used to create robust question generation systems using only a single pretrained language model, without the use of additional mechanisms, answer metadata, and extensive features. Our best model outperforms previous more complex RNN-based Seq2Seq models, with an 8.62 and a 14.27 increase in METEOR and ROUGE_L scores, respectively. We show that it also performs on par with Seq2Seq models that employ answer-awareness and other special mechanisms, despite being only a single-model system. We analyze how various factors affect the model's performance, such as input data formatting, the length of the context paragraphs, and the use of answer-awareness. In addition, we also look into the modes of failure that the model experiences and identify the reasons why it fails.

연구 동기 및 목표

• 단일 사전학습된 Transformer 모델만을 사용하여 강력하고 엔드 투 엔드의 질문 생성 시스템을 개발하기.
• 복잡한 아키텍처, 답변 메타데이터, 또는 광범위한 특징 공학의 필요성을 제거하기.
• 최소한의 통합 모델이 더 복잡하고 전문화된 Seq2Seq 모델의 성능을 따라하거나 능가할 수 있는지 평가하기.
• 입력 포맷, 문맥 길이, 답변 인식 기능이 모델 성능에 미치는 영향 분석하기.
• 생성된 질문에서 발생하는 고장 유형을 식별하고 진단하기.

제안 방법

• 표준 인코더-디코더 어텐션을 사용하여 질문 생성 작업에 대해 단일 사전학습된 Transformer 모델(예: BERT 또는 유사 모델)을 미세조정하기.
• 명시적인 답변 토큰 표시나 추가 기능 없이, 문맥 단락과 해당 답변만을 입력으로 사용하기.
• 표준 순서열-순서열 학습을 적용하고 교차 엔트로피 손실과 자동회귀 디코딩을 사용하기.
• 모델를 이끌기 위한 템플릿 기반 입력 구성과 같은 입력 포맷 기법 적용하기.
• 표준 평가 지표인 METEOR와 ROUGE-L을 사용하여 성능 평가하기.
• 문맥 길이와 입력 포맷이 생성 품질에 미치는 영향을 평가하기 위해 추론 실험 수행하기.

실험 결과

연구 질문

• RQ1 답변 인식 기능이나 보조 메커니즘 없이도 단일 미세조정된 Transformer 모델이 경쟁적인 질문 생성 성능을 달성할 수 있는가?
• RQ2 입력 포맷과 문맥 길이는 생성된 질문의 품질에 어떤 영향을 미치는가?
• RQ3 생성된 질문에서 주요 고장 유형은 무엇이며, 그 원인은 무엇인가?
• RQ4 단일 모델 기반 Transformer의 성능은 더 복잡한 RNN 기반 및 답변 인식 기반 Seq2Seq 모델과 비교해 어떻게 되는가?
• RQ5 최소한의 Transformer 기반 설정에서 답변 인식 기능이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 단일 모델 기반 Transformer 접근법은 이전의 RNN 기반 Seq2Seq 모델보다 METEOR 점수에서 8.62점, ROUGE_L 점수에서 14.27점 높은 성능을 기록하였다.
• 답변 인식 기능이나 추가 메커니즘을 사용하지 않았음에도 불구하고, 이러한 기능을 통합한 더 복잡한 모델들과 비슷한 성능을 보였다.
• 입력 포맷이 모델 성능에 상당한 영향을 미치며, 구조화된 템플릿이 생성 품질 향상에 기여한다.
• 긴 문맥 단락은 질문의 관련성과 유창성 측면에서 생성 품질에 악영향을 미친다.
• 일반적인 고장 유형으로는 질문 반복, 잘못된 질문 유형 생성, 존재하지 않는 답변에 대한 환각(허구적 생성) 등이 있다.
• 핵심어 지시나 복잡한 추론이 필요한 질문은 조건이 충족되어도 모델이 가장 어려움을 겪는다.