[논문 리뷰] Harvesting Paragraph-Level Question-Answer Pairs from Wikipedia

Xinya Du, Claire Cardie|arXiv (Cornell University)|2018. 05. 15.

Natural Language Processing Techniques인용 수 18

한 줄 요약

이 논문은 핵심 참조 지식을 새로운 게이팅 메커니즘을 통해 통합함으로써 단일 문단 수준의 QA 쌍 생성을 향상시키는 신경망 질문 생성 모델인 CorefNQG를 제안한다. 이 모델은 SQuAD에서 강력한 베이스라인을 능가하며 위키백과에서 126만 개 이상의 고품질 질문-답변 쌍을 생성했으며, 연구 목적을 위해 공개적으로 제공된다.

ABSTRACT

We study the task of generating from Wikipedia articles question-answer pairs that cover content beyond a single sentence. We propose a neural network approach that incorporates coreference knowledge via a novel gating mechanism. Compared to models that only take into account sentence-level information (Heilman and Smith, 2010; Du et al., 2017; Zhou et al., 2017), we find that the linguistic knowledge introduced by the coreference representation aids question generation significantly, producing models that outperform the current state-of-the-art. We apply our system (composed of an answer span extraction system and the passage-level QG system) to the 10,000 top-ranking Wikipedia articles and create a corpus of over one million question-answer pairs. We also provide a qualitative analysis for this large-scale generated corpus from Wikipedia.

연구 동기 및 목표

• 기존의 신경망 질문 생성 모델이 단일 문장의 맥락에만 의존하여 문장 간 핵심 참조 관계를 포착하지 못하는 한계를 해결하기 위해.
• 더 긴 텍스트 문단에서 핵심 참조 클러스터로부터 언어학적 지식을 통합하여 독해력 테스트를 위한 질문 생성을 향상시키기 위해.
• 비정형적인 위키백과 기사에서 대규모로 고품질, 다양성 및 맥락이 풍부한 질문-답변 쌍을 자동으로 확보하기 위해.
• 기계 독해력 이해 시스템의 훈련 및 평가에 적합한 대규모 공개 QA 코퍼스를 구축하기 위해.

제안 방법

• 제안된 CorefNQG 모델은 핵심 참조 클러스터(동일한 실체를 가리키는 언급들의 집합)의 연속적 표현을 맥락 인코딩 과정에 통합하는 게이팅 어텐션 메커니즘을 사용한다.
• 핵심 참조 클러스터는 조밀한 벡터 임베딩으로 표현되며, 이는 이전 맥락에 대한 어텐션을 게이팅함으로써 관련된 전행어를 선택적으로 집중시킬 수 있도록 한다.
• 모델은 포인터-생성기 네트워크를 사용한 답변 스팸 예측 및 질문 생성을 위한 인코더-디코더 아키텍처를 사용하여 SQuAD 데이터셋에서 엔드 투 엔드로 훈련된다.
• 시스템은 두 가지 구성 요소로 이루어져 있으며, 답변 스팸 추출 모듈과 문단 수준의 질문 생성 모듈로 구성되며, QA 쌍의 품질 향상을 위해 공동으로 훈련된다.
• 단일 문장 맥락 또는 전체 이전 맥락만 사용하는 베이스라인과의 비교를 통해, 핵심 참조 인식 인코딩의 유용성을 입증한다.
• 프레임워크는 10,000개의 상위 랭킹 위키백과 기사에 적용되어 126만 개 이상의 질문-답변 쌍으로 구성된 코퍼스를 생성하였다.

실험 결과

연구 질문

• RQ1 핵심 참조 인식 신경 모델링은 단일 문장 맥락을 넘어서는 문단 수준의 질문 생성을 향상시킬 수 있는가?
• RQ2 핵심 참조 클러스터 표현을 통합할 경우, 국소적 또는 전체 맥락만 사용하는 모델에 비해 생성된 질문의 품질과 다양성은 어떻게 영향을 받는가?
• RQ3 위키백과에서 생성된 코퍼스가 인간이 애너테이션한 QA 데이터셋인 SQuAD와 같은 언어학적 및 사실적 특성을 얼마나 잘 반영하는가?
• RQ4 위키백사에서 생성된 합성 데이터로 훈련된 신경 질문 생성 시스템은 하류 독해력 이해 모델의 효과적 훈련을 지원할 수 있는가?

주요 결과

• CorefNQG는 SQuAD 데이터셋에서 자동 평가 지표(정확도 일치 및 F1) 전반에서 단일 문장 베이스라인 및 전체 맥락 베이스라인을 뚜렷이 능가한다.
• 핵심 참조 해결이 필요한 질문에 대해서는 CorefNQG와 베이스라인 간 성능 격차가 특히 크며, 이는 모델이 문장 간 종속성을 효과적으로 처리함을 시사한다.
• 모델은 어휘 정확성, 답변 관련성 등 모든 평가 지표에서 인간 평가 점수에서 베이스라인 모델보다 통계적으로 유의미하게 높은 점수를 기록한다.
• 생성된 코퍼스에는 1,259,691개의 질문-답변 쌍이 포함되어 있으며, 질문 유형의 분포는 SQuAD와 유사하지만 '무엇인가요?' 및 '무엇이었나요?' 질문의 비율이 더 높다.
• 생성된 코퍼스로 미세조정된 최첨단 독해력 모델(DocReader)은 개발 세트에서 82.33%의 정확도 일치 및 88.20%의 F1 점수를 기록하여, 이 코퍼스가 훈련에 적합함을 시사하지만 SQuAD보다 略로 어려운 편임을 나타낸다.
• 합성 코퍼스로 훈련된 모델이 원본 SQuAD 개발 세트에 대해 일반화가 잘 되지 않아 정확도 일치율이 45.2%에 머물렀으며, 이는 생성된 데이터가 커뮤니티 기반 데이터보다 자연스럽지 않거나 더 복잡할 수 있음을 시사하며, 규모와 품질 사이의 상충 관계를 드러낸다.