[논문 리뷰] ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question Answering over Historical News Collections

Jiexin Wang, Adam Jatowt외 1명|arXiv (Cornell University)|2021. 09. 08.

Topic Modeling인용 수 4

한 줄 요약

ArchivalQA는 뉴욕 타임스 앤어테이티드 코퍼스(1987–2007)를 바탕으로 한 대규모 오픈도메인 질의응답(ODQA) 벤치마크를 제공하며, 신경질의생성과 다단계 필터링을 조합한 준자동화된 파이프라인을 통해 고품질의 시간적 맥락이 부여된 질문을 생성하였다. 총 532,444개의 질문-답변 쌍을 포함하며, 난이도와 시간표현의 유무에 따라 하위 데이터셋으로 분할되어 역사적 뉴스에 대한 정교한 평가가 가능하다. 특히 DPR 모델은 난이도 높고 어휘적 겹침이 적은 질문에서 뛰어난 성능을 보였다.

ABSTRACT

In the last few years, open-domain question answering (ODQA) has advanced rapidly due to the development of deep learning techniques and the availability of large-scale QA datasets. However, the current datasets are essentially designed for synchronic document collections (e.g., Wikipedia). Temporal news collections such as long-term news archives spanning several decades, are rarely used in training the models despite they are quite valuable for our society. To foster the research in the field of ODQA on such historical collections, we present ArchivalQA, a large question answering dataset consisting of 532,444 question-answer pairs which is designed for temporal news QA. We divide our dataset into four subparts based on the question difficulty levels and the containment of temporal expressions, which we believe are useful for training and testing ODQA systems characterized by different strengths and abilities. The novel QA dataset-constructing framework that we introduce can be also applied to generate non-ambiguous questions of good quality over other types of temporal document collections.

연구 동기 및 목표

• 장기적인 역사적 뉴스 아카이브에 대한 대규모 고품질 ODQA 데이터셋이 부족한 문제를 해결하기 위해, 사회적 가치가 높지만 아직 활용되지 못한 자료를 효과적으로 활용하고자 한다.
• 신경질의생성과 필터링을 통합한 스케일러블한 준자동화 프레임워크를 개발하여 시간적 문서 컬렉션에 대해 다양하고 모호성이 없는 질문을 생성하고자 한다.
• 시간적 추론의 과제를 반영한 벤치마크를 구축하고자 하며, 이는 시간적 모호성과 수십 년에 걸친 어휘 변동성을 포함한다.
• 질문의 난이도와 시간표현의 유무에 따라 질문을 구분함으로써 ODQA 시스템의 정교한 평가를 가능하게 하고자 한다.
• 풍부하고 다양한 시간적 맥락이 부여된 데이터셋을 통해 시간 정보 검색, 역사적 사실 확인, 교육 분야의 연구를 지원하고자 한다.

제안 방법

• 뉴욕 타임스 코퍼스(1987–2007)의 뉴스 기사에서 신경질의생성 모델을 활용해 대량의 후보 질문을 자동 생성한다.
• 관련성, 모호성, 사실 일관성 기반의 다단계 필터링 절차를 적용하여 저품질 질문을 제거하고 고품질 QA 인스턴스를 유지한다.
• 질문의 난이도와 시간표현의 유무에 따라 네 개의 하위 데이터셋으로 구조화한다: ArchivalQAEasy, ArchivalQAHard, ArchivalQATime, ArchivalQANoTime.
• 뉴욕 타임스 코퍼스를 기반 문서 컬렉션으로 사용하여 학습 및 평가에 있어 시간적 일관성과 역사적 깊이를 확보한다.
• 각 하위 데이터셋을 훈련(80%), 개발(10%), 테스트(10%) 세트로 분할하여 표준화된 평가를 수행한다.
• 다양한 ODQA 모델(예: BERTserini, DPR 등)을 하위 데이터셋에 대해 평가하여 성능 차이를 분석한다.

실험 결과

연구 질문

• RQ1 기존의 ODQA 모델은 장기 뉴스 아카이브에서 역사적으로 특정된 세부 질문에 대해 얼마나 효과적으로 대응할 수 있는가?
• RQ2 질문에 시간표현이 포함될 경우, 역사적 QA 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 밀도 기반 검색 모델(DPR 등)은 시간 문서 컬렉션에서 난이도 높고 어휘적 겹침이 적은 질문에서 기존 희소 검색 모델을 능가할 수 있는가?
• RQ4 질문의 난이도가 복잡성과 어휘적 겹침 수준에 따라 어떻게 ODQA 시스템 성능에 影향을 미치는가?
• RQ5 다단계 필터링을 통한 준자동화 파이프라인은 기록 자료에 대한 ODQA 시스템 학습 및 평가에 적합한 고품질 비모호 QA 쌍을 효과적으로 생성할 수 있는가?

주요 결과

• DPR 모델은 ArchivalQAHard에서 희소 검색 모델보다 뛰어난 성능을 보이며, 정확도 매칭(EM)에서 54.85% 향상되고 F1 점수는 40.35% 향상되었다. 이는 어휘적 겹침이 적은 질문에 대한 강력한 일반화 능력을 시사한다.
• BERTserini-NYT-TempRes는 ArchivalQAHard에서 ArchivalQAEasy보다 EM 점수에서 106.83% 향상되었으며, 어려운 질문의 난이도가 높다는 점을 확인했다.
• ArchivalQANoTime에서의 성능이 ArchivalQATime보다 略로 높게 나타나, 시간 신호가 아직 제대로 모델링되지 않은 상태에서 활용되지 않거나 오히려 성능 저하를 초래할 수 있음을 시사한다.
• 준자동화 프레임워크를 통해 532,444개의 고품질 QA 쌍을 성공적으로 생성하였으며, 하위 데이터셋을 통해 난이도와 시간적 내용 기반의 정교한 평가가 가능해졌다.
• 위키백과 기반 지식만으로는 세부적이고 소규모 역사적 사건을 정확히 답변하기에 부족함을 드러내어, ODQA에서 기록 뉴스 자료의 필요성을 강조한다.
• 쉬운 질문과 어려운 질문 간 성능 격차는 역사적 QA 시스템에서 시간적 추론과 맥락 이해의 중요성을 부각시킨다.