[논문 리뷰] QURIOUS: Question Generation Pretraining for Text Generation

Shashi Narayan, Gonçalo Simões외 3명|arXiv (Cornell University)|2020. 04. 23.

Topic Modeling참고 문헌 29인용 수 7

한 줄 요약

이 논문은 내용 선택과 언어 모델링을 향상시키기 위해 문서-패스aje 쌍에서 질문 생성을 사용하는 텍스트 생성을 위한 프리트레인 방법 Qurious를 제안한다. 질문 생성으로 프리트레인한 모델은 RoBERTaS2S와 같은 태스크 무관 기반 모델에 비해 요약의 자연스러움, 간결성, 정보성 측면에서 더 우수한 성능을 내며, 개괄적 요약 및 답변 중심 질문 생성에서 최신 기술 수준의 결과를 달성한다.

ABSTRACT

Recent trends in natural language processing using pretraining have shifted focus towards pretraining and fine-tuning approaches for text generation. Often the focus has been on task-agnostic approaches that generalize the language modeling objective. We propose question generation as a pretraining method, which better aligns with the text generation objectives. Our text generation models pretrained with this method are better at understanding the essence of the input and are better language models for the target task. When evaluated on two text generation tasks, abstractive summarization and answer-focused question generation, our models result in state-of-the-art performances in terms of automatic metrics. Human evaluators also found our summaries and generated questions to be more natural, concise and informative.

연구 동기 및 목표

• 내용 선택 및 언어적 실현과 같은 텍스트 생성 과제에 더 잘 부합하는 프리트레인 목표의 격차를 보완하기 위해.
• 질문 생성 프리트레인 방식이 요약 생성 및 답변 중심 질문 생성 과제에서 모델 성능을 향상시키는지 탐색하기 위해.
• 마스크된 언어 모델링과 같은 태스크 무관 접근 방식과 비교해 질문 생성을 프리트레인 목표로 사용할 경우의 효과성을 평가하기 위해.
• 질문 생성 프리트레인을 활용한 저자원 환경에서의 샘플 효율성과 일반화 능력을 평가하기 위해.
• 질문 생성을 통한 프리트레인 방식이 더 자연스럽고 간결하며 정보성이 높은 텍스트 생성 출력을 이끌어내는지 입증하기 위해.

제안 방법

• SQuAD 및 Natural Questions와 같은 공개된 QA 데이터셋을 활용해 문서-패스aje 쌍에서 질문 생성을 위한 시퀀스-투-시퀀스 모델을 프리트레인한다.
• Quora, Stack Overflow, Yahoo Answers와 같은 커뮤니티 QA 플랫폼에서 수집한 데이터를 활용해 훈련 데이터를 확장한다.
• 프리트레인된 모델을 개괄적 요약 및 답변 중심 질문 생성과 같은 다운스트림 텍스트 생성 과제에 피니튜닝한다.
• BERT 및 RoBERTa 체크포인트와 호환되는 표준 Transformer 기반 인코더-디코더 아키텍처를 사용해 모델을 훈련한다.
• 목표 과제에 대한 피니튜닝 없이 질문 생성 프리트레인을 활용하는 제로샷 변형(QuriousZ)을 적용한다.
• 자동 평가 지표(ROUGE-L)와 인간 평가를 모두 활용해 모델 출력을 기준 모델 및 기준 요약/질문과 비교한다.

실험 결과

연구 질문

• RQ1 질문 생성 프리트레인 방식은 텍스트 생성 모델의 내용 선택과 언어적 실현 능력을 향상시키는가?
• RQ2 질문 생성 프리트레인을 통해 개괄적 요약 과제에서 태스크 무관 프리트레인 방식보다 성능이 향상되는가?
• RQ3 Qurious는 자연스러움과 정확성 측면에서 답변 중심 질문 생성 과제에서 어떻게 성능을 내는가?
• RQ4 질문 생성 프리트레인 방식은 저자원 환경에서 샘플 효율성을 얼마나 향상시키는가?
• RQ5 텍스트 생성 과제에서 표준 마스크된 언어 모델링보다 질문 생성 목표가 더 효과적인가?

주요 결과

• Qurious는 극단적 요약 과제에서 RoBERTaS2S 및 기타 기준 모델들을 능가하는 최신 기술 수준의 ROUGE-L F1 점수를 기록했다.
• 인간 평가에서 Qurious가 생성한 요약은 RoBERTaS2S에 비해 자연스럽고 간결하며 정보성이 높게 평가되었다.
• SQuAD 데이터셋에서 Qurious는 질문의 자연스러움과 정확성 측면에서 RoBERTaS2S를 능가했으며, 인간이 작성한 질문과 통계적으로 유의미한 차이가 없었다.
• NQ 데이터셋에서 Qurious는 자연스러움과 정확성 측면에서 뛰어난 성능을 보였지만, 인간 질문에 비해 정확성 측면에서 略로 약간 뒤진 성과를 보였다.
• 샘플 효율성 실험에서 Qurious는 훈련 데이터의 50% 수준에서도 RoBERTaS2S를 능가했으며, 이는 내용 선택 중심 프리트레인 방식이 저자원 환경에서 태스크 무관 마스킹보다 더 효과적임을 시사한다.
• 제로샷 변형 QuriousZ는 요약 과제에서 뛰어난 성능을 보였으며, 이는 질문 생성 프리트레인 방식이 암묵적으로 요약에 관련된 내용 선택을 학습하고 있음을 시사한다.