[논문 리뷰] Multi-span Style Extraction for Generative Reading Comprehension

Junjie Yang, Zhuosheng Zhang외 1명|arXiv (Cornell University)|2020. 09. 15.

Topic Modeling참고 문헌 45인용 수 5

한 줄 요약

이 논문은 MS MARCO v2.1에서 최신 기술 수준에 가까운 성능을 달성하면서 단일 스팬 방법에 비해 부족하거나 중복된 답변을 크게 줄이는 다중 스팬 스타일 추출 프레임워크인 MUSST를 제안한다. 다중 스팬 추출과 경량 답변 생성기를 조합하여 생성형 기계 독해 이해 성능을 향상시킨다.

ABSTRACT

Generative machine reading comprehension (MRC) requires a model to generate well-formed answers. For this type of MRC, answer generation method is crucial to the model performance. However, generative models, which are supposed to be the right model for the task, in generally perform poorly. At the same time, single-span extraction models have been proven effective for extractive MRC, where the answer is constrained to a single span in the passage. Nevertheless, they generally suffer from generating incomplete answers or introducing redundant words when applied to the generative MRC. Thus, we extend the single-span extraction method to multi-span, proposing a new framework which enables generative MRC to be smoothly solved as multi-span extraction. Thorough experiments demonstrate that this novel approach can alleviate the dilemma between generative models and single-span models and produce answers with better-formed syntax and semantics.

연구 동기 및 목표

• 생성형 MRC에서 단일 스팬 추출 모델의 한계를 해결하기 위해, 종종 부족하거나 중복된 답변을 생성하는 문제를 해결한다.
• 추상적 답변 생성에서 추출형 단일 스팬 모델과 생성형 seq2seq 모델 간의 성능 격차를 해소한다.
• 질문과 본문에서 유의미한 스팬을 다수 추출하여 문법적·의미적으로 일관된 답변을 합성할 수 있는 프레임워크를 개발한다.
• 훈련 중에 본문 순서를 동적으로 샘플링하여 훈련 효율성과 관련성을 향상시킨다.
• 종합적인 엔드 투 엔드 훈련 없이도 강력한 성능을 달성할 수 있는, 추출형 다중 스팬 선택과 경량 생성기의 하이브리드 접근 방식을 입증한다.

제안 방법

• 질문과 본문에 분산된 스파이크의 시퀀스로 구성된 잘 정의된 답변을 변환하는 다중 스팬 답변 애너테이터를 제안한다.
• 추론 시 변동 가능한 수의 스팬을 추출할 수 있도록 지원하는 경량 답변 생성기를 설계한다. 이는 답변의 민첩한 조합을 가능하게 한다.
• 질문-본문 쌍의 문맥적 표현을 생성하기 위해 사전 학습된 BERT 기반 인코더를 사용한다. 이는 입력 간의 상호작용을 포착한다.
• 두 층의 피드포워드 네트워크를 사용한 본문 랭커를 구현하며, ReLU와 소프트맥스를 적용하여 후보 본문의 관련성 점수를 예측한다.
• 훈련 중에 답변를 포함할 가능성이 높은 본문을 선택하기 위해 동적 샘플링을 도입하여 모델이 관련 맥락에 집중하도록 한다.
• 스패너 예측과 본문 랭킹에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련하며, 답변 생성과 본문 선택을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 다중 스팬 추출은 단일 스팬 추출에 비해 생성형 MRC에서 생성된 답변의 문법적·의미적 품질을 향상시키는가?
• RQ2 MS MARCO v2.1 데이터셋에서 제안된 MUSST 프레임워크는 강력한 단일 스팬 및 seq2seq 기반 베이스라인에 비해 어떻게 성능을 내는가?
• RQ3 완전한 seq2seq 생성에 비해 경량 추출 스타일 생성기가 답변 품질과 훈련 효율성 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ4 훈련 중 동적 샘플링은 선택된 본문의 관련성과 그에 따른 답변 생성 성능을 향상시키는가?
• RQ5 추출형 스팬 선택과 생성기를 조합한 하이브리드 접근 방식은 복잡한 엔드 투 엔드 훈련 없이도 최신 기술 수준에 가까운 성능을 달성할 수 있는가?

주요 결과

• MUSST는 MS MARCO v2.1 데이터셋에서 단일 스팬 추출 기반 모델을 크게 능가하며, 부족하거나 중복된 답변을 크게 줄였다.
• 복잡한 엔드 투 엔드 훈련 없이도 단일 본문 랭커와 경량 생성기만으로 최신 기술 수준에 가까운 성능을 달성했다.
• 훈련 중 동적 샘플링은 선택된 본문의 관련성을 향상시켜 더 나은 답변 생성 품질을 이끌어냈다.
• 다중 스팬 스타일 추출 프레임워크는 질문과 본문에서 유의미한 스팬을 조합함으로써 더 정확하고 유창한 답변 생성을 가능하게 했다.
• 제거 실험 결과, 다중 스팬 애너테이터와 경량 생성기가 최종 성능에 기여하는 데 의미 있는 기여를 했다.
• 프레임워크는 강력한 일반화 능력을 보였으며, 추출형 기법을 최소한의 아키텍처 변경으로 생성형 MRC에 효과적으로 확장할 수 있음을 입증했다.