[논문 리뷰] Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections

Wei-Jen Ko, Cutter Dalton외 4명|arXiv (Cornell University)|2021. 11. 01.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 기존의 맥락 기반으로 자유형 개방형 질문을 수집함으로써 뉴스 기사의 문장 간 논의적이고 의미적 연결을 포착하는 새로운 질문-답변 프레임워크인 DCQA를 소개한다. 스케일러블한 군중 활용 파라다임을 통해 앵커 문장 이후의 답변 문장을 바탕으로 질문을 생성함으로써, 종합적인 논의 이해를 위한 훈련을 가능하게 하며, Longformer 기반 기준에서 67%의 정답률을 기록하고 있으며, 합성 불가능한 질문을 포함한 개방형 QA에 있어 잠재력을 보여준다.

ABSTRACT

While there has been substantial progress in text comprehension through simple factoid question answering, more holistic comprehension of a discourse still presents a major challenge (Dunietz et al., 2020). Someone critically reflecting on a text as they read it will pose curiosity-driven, often open-ended questions, which reflect deep understanding of the content and require complex reasoning to answer (Ko et al., 2020; Westera et al., 2020). A key challenge in building and evaluating models for this type of discourse comprehension is the lack of annotated data, especially since collecting answers to such questions requires high cognitive load for annotators. This paper presents a novel paradigm that enables scalable data collection targeting the comprehension of news documents, viewing these questions through the lens of discourse. The resulting corpus, DCQA (Discourse Comprehension by Question Answering), captures both discourse and semantic links between sentences in the form of free-form, open-ended questions. On an evaluation set that we annotated on questions from Ko et al. (2020), we show that DCQA provides valuable supervision for answering open-ended questions. We additionally design pre-training methods utilizing existing question-answering resources, and use synthetic data to accommodate unanswerable questions.

연구 동기 및 목표

• 종합적인 논의 이해를 위한 모델 훈련을 위한 애너테이션된 데이터의 부족을 해결하기 위해, 특히 맥락 기반의 개방형 질문에 초점을 맞춘다.
• 간단한 사실 기반 질문이 아닌 논의 수준의 추론를 반영하는 자유형 개방형 질문을 생성하는 확장 가능한 데이터 수집 파라다임을 개발하기 위해.
• 실제 뉴스 기사에서 유래한 질문-답변 쌍을 통해 문장 간 의미적 및 논의적 연결을 모두 포착하는 새로운 데이터셋인 DCQA를 구축하기 위해.
• DCQA가 인간 독자가 생성하는 것과 유사한 복잡한 호기심 기반 질문에 대해 모델을 훈련시키는 데 효과적인 지도를 제공할 수 있는지 평가하기 위해.
• 합성 데이터를 활용해 불가능한 질문을 처리하는 방법을 탐색하고, 답변 가능성 예측을 파ip라인 시스템에 통합하기 위해.

제안 방법

• 기존의 사전 지정된 질문에 답하는 것이 아니라, 앵커 문장 이후의 특정 문장이 답하는 질문을 생성하는 데 초점을 맞춘 새로운 군중 활용 파라다임을 사용한다.
• 프레임워크는 문장이 논의에서 수행하는 功能적 역할을 반영하여, 문장 간 의미적 및 논의 수준의 관계를 포착한다.
• 논의 QA에서 zero-shot 및 few-shot 성능 향상을 위해 기존의 QA 데이터셋(SQuAD, Natural Questions)과 DCQA 데이터를 사용하여 사전 훈련을 수행한다.
• 기사의 답변 문장 이전까지 잘라내어 생성된 합성 불가능한 질문은 일관성을 유지하면서도 답변 가능성 예측 훈련을 가능하게 한다.
• 두 단계 파이프라인을 구현한다: 먼저 질문이 답변 가능한지 분류기로 예측하고, 그 다음 QA 모델을 사용해 답변을 생성한다.
• 시스템은 inquisitive 및 TED-Q 데이터셋에서 평가되며, F1 점수와 답변 가능성 예측 정확도로 성능을 측정한다.

실험 결과

연구 질문

• RQ1 논의 중심의 개방형 질문 기반 질문-답변 프레임워크가 뉴스 기사의 문장 간 의미적 및 논의 수준의 연결을 효과적으로 포착할 수 있는가?
• RQ2 답변을 본 후 질문을 생성하는 제안된 데이터 수집 파라다임은 확장 가능하고 다양한 고품질의 맥락 기반 질문 세트를 제공하는가?
• RQ3 DCQA 데이터와 사전 훈련 전략은 사실 요약을 초월한 복잡한 추론이 필요한 질문에 대해 개방형 질문-답변 작업의 성능을 향상시킬 수 있는가?
• RQ4 논의 이해에서 불가능한 질문을 모델링하기 위해 합성 데이터 생성이 얼마나 효과적인가, 그리고 답변 가능성 예측의 핵심 장애물은 무엇인가?
• RQ5 DCQA 프레임워크는 inquisitive 데이터셋과 같은 실제 인간이 생성한 논의 질문에 얼마나 일반화되는가?

주요 결과

• Longformer 기준이 DCQA의 질문-답변 작업에서 67%의 정확도를 기록하여 인간 성능(72.2%)에 근접함을 보이며, DCQA가 논의 이해를 위한 강력한 지도를 제공함을 시사한다.
• 답변이 앵커 포인트에서 멀리 떨어져 있을수록 모델 성능이 크게 떨어지며, 장거리 논의 추론의 과제를 드러낸다.
• DCQA와 다른 QA 데이터셋에서의 사전 훈련으로 inquisitive에서의 성능이 향상되었으며, F1 점수가 DCQA 및 사전 훈련 데이터를 사용할 경우 0.260에서 0.358로 상승했다.
• 합성 논의 질문에서는 답변 가능성 예측이 84%의 정확도를 기록했지만, 실제 inquisitive 질문에서는 67%에 그쳐 일반화 격차가 크며 파이프라인의 핵심 장애물임을 시사한다.
• 답변 가능성 예측과 답변 생성을 조합한 파이프라인 시스템은 inquisitive 테스트 세트에서 F1 점수 0.358을 기록하여, 도전 과제가 있음에도 불구하고 접근 방식의 타당성을 입증한다.
• 불가능한 질문을 위한 합성 데이터 생성 방법은 효과적이지만 답변 가능성 예측에 대해 충분하지 않으며, 향후 연구에서 보다 나은 전략이 필요함을 시사한다.