[논문 리뷰] Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models

Sheng-Chieh Lin, Jheng-Hong Yang외 4명|arXiv (Cornell University)|2020. 04. 04.

Topic Modeling참고 문헌 22인용 수 36

한 줄 요약

이 논문은 시퀀스-투-시퀀스 모델과 사전학습 언어 모델을 사용하여 대화형 질문 재구성(CQR)을 실증적으로 연구하고, T5가 CANARD와 CAsT에서 최첨단 BLEU를 달성하며 CANARD에서 인간 성능에 근접함을 보여준다.

ABSTRACT

This paper presents an empirical study of conversational question reformulation (CQR) with sequence-to-sequence architectures and pretrained language models (PLMs). We leverage PLMs to address the strong token-to-token independence assumption made in the common objective, maximum likelihood estimation, for the CQR task. In CQR benchmarks of task-oriented dialogue systems, we evaluate fine-tuned PLMs on the recently-introduced CANARD dataset as an in-domain task and validate the models using data from the TREC 2019 CAsT Track as an out-domain task. Examining a variety of architectures with different numbers of parameters, we demonstrate that the recent text-to-text transfer transformer (T5) achieves the best results both on CANARD and CAsT with fewer parameters, compared to similar transformer architectures.

연구 동기 및 목표

• 대화형 QA 및 작업 지향 대화에서 지칭 추적(coreference) 및 ellipsis를 해결하기 위해 맥락 내에서 질문을 재작성할 필요성을 동기부여한다.
• CQR에서 MLE의 토큰-토큰 독립 가정이 완화될 수 있는지 사전학습 언어 모델이 도움이 되는지 조사한다.
• CANARD(in-domain) 및 CAsT(out-of-domain)에서 다양한 PLM과 S2S 아키텍처를 평가하여 강력한 성능자를 식별한다.

제안 방법

• CQR를 현재 질문 plus 대화 역사를 입력으로 받아 재작성된 질문을 출력하는 시퀀스-투-시퀀스(task)로 공식화한다.
• 연결된 이력(history)과 현재 질의를 맥락으로 사용하는 CANARD에서 LSTM 기반 S2S, GPT-2, BERT, UniLM, 및 T5 등 다양한 모델을 미세조정한다.
• CANARD와 CAsT에서 인간이 재작성한 참조와의 비교를 위해 BLEU를 평가 지표로 사용한다.
• 탐욕 탐색, 빔 탐색(빔 폭 최대 10), 그리고 top-k 샘플링을 포함한 디코딩 전략을 탐색해 디코딩 민감도를 평가한다.
• 재현성을 위해 모델 매개변수 수와 학습 설정을 보고한다.

실험 결과

연구 질문

• RQ1 사전학습된 언어 모델이 CQR에서 순수한 MLE 기반 기본값을 넘어 대화형 질문 재구성를 개선할 수 있는가?
• RQ2 어떤 모델 아키텍처(및 매개변수 규모)가 CANARD와 CAsT에서 맥락/역사를 가장 잘 활용해 질문을 재작성하는가?
• RQ3 CANARD와 CAsT에서 BLEU로 측정된 CQR 품질에 디코딩 전략이 어떻게 영향을 미치는가?

주요 결과

• T5-base가 Greedy 디코딩으로 CANARD에서 59.13, CAsT에서 58.08로 테스트된 모델 중 최고 BLEU를 달성했다.
• 빔 탐색(width=10)을 사용하는 T5-base는 CAsT에서 BLEU 76.22에 도달하고 CANARD에서 인간 성능과 비슷한 수준이다(BLEU는 인간 약 59.92, 모델은 58–60 범위).
• CANARD에서 인간이 모델보다 우수하며, Human 59.92 BLEU, Raw 33.84; 다양한 PLM이 Raw보다 개선되며, 예: UniLM-large 57.39(CANARD Dev) 및 55.92(CAsT Dev).
• GPT-2-medium와 BERT-large도 LSTM보다 개선되며, GPT-2-medium 52.63(CANARD Dev) 및 50.07(CANARD Test); BERT-large 55.34(CANARD Dev) 및 54.34(CANARD Test).
• UniLM-large 및 T5-base는 데이터셋 전반에서 다른 아키텍처를 지속적으로 능가하며, CQR에 대한 텍스트-투-텍스트 전이 모델의 이점을 보여준다.