[논문 리뷰] A Dataset for Answering Time-Sensitive Questions

Wenhu Chen, Xinyi Wang외 1명|arXiv (Cornell University)|2021. 08. 13.

Topic Modeling참고 문헌 36인용 수 24

한 줄 요약

이 논문은 Wikidata에서 시간에 따라 변화하는 사실을 추출하고, 군중 작업자들을 통해 사실을 검증하며, 다양한 질문-답변 쌍을 생성함으로써 시간에 민감한 질문에 답하는 데 사용할 수 있는 새로운 벤치마크 데이터셋인 TimeQA를 소개한다. FiD와 같은 최첨단 모델이 하드 버전에서 46%의 정확도를 기록한 반면 인간의 성능은 87%에 이르며, 이는 현재 NLP 모델의 시계열 추론 능력에 큰 격차가 있음을 드러낸다.

ABSTRACT

Time is an important dimension in our physical world. Lots of facts can evolve with respect to time. For example, the U.S. President might change every four years. Therefore, it is important to consider the time dimension and empower the existing QA models to reason over time. However, the existing QA datasets contain rather few time-sensitive questions, hence not suitable for diagnosing or benchmarking the model's temporal reasoning capability. In order to promote research in this direction, we propose to construct a time-sensitive QA dataset. The dataset is constructed by 1) mining time-evolving facts from WikiData and aligning them to their corresponding Wikipedia page, 2) employing crowd workers to verify and calibrate these noisy facts, 3) generating question-answer pairs based on the annotated time-sensitive facts. Our dataset poses challenges in the aspect of both temporal understanding and temporal reasoning. We evaluate different SoTA long-document QA systems like BigBird and FiD on our dataset. The best-performing model FiD can only achieve 46\% accuracy, still far behind the human performance of 87\%. We demonstrate that these models are still lacking the ability to perform consistent temporal reasoning. Therefore, we believe that our dataset could serve as a benchmark to develop NLP models more sensitive to temporal shifts. The dataset and code are released in~\url{https://github.com/wenhuchen/Time-Sensitive-QA}.

연구 동기 및 목표

• 기존의 QA 벤치마크에서 시간에 민감한 질문에 집중된 데이터셋의 부족을 해결하기 위해.
• 장문의 텍스트에서 시계열 이해와 추론 능력을 테스트할 수 있는 현실적이고 도전적인 벤치마크를 만들기 위해.
• 현재 최첨단 QA 모델이 시간의 변화와 변화하는 사실을 다룰 때의 한계를 평가하기 위해.
• 명시적인 시간 경계와 다양한 시간 표현을 포함한 데이터셋을 제공함으로써 시계열 추론 분야의 연구를 촉진하기 위해.

제안 방법

• Wikidata에서 시간에 따라 변화하는 사실을 추출하고, 이를 해당하는 위키백과 문단과 정렬하기.
• 군중 작업자들을 활용해 노이즈가 있는 사실을 검증하고 校정하여 정확한 시계열 경계를 확보하기.
• 주석 처리된 시간에 민감한 사실을 바탕으로 다양한 템플릿을 사용해 질문-답변 쌍을 생성하기.
• 필요한 시계열 추론의 복잡성에 따라 쉬운 버전과 어려운 버전을 생성하기.
• 하드 버전은 암시적 시계열 언급과 다단계 추론을 강조하도록 설계하기.
• 재현 가능성과 향후 연구를 지원하기 위해 데이터셋과 코드를 공개하기.

실험 결과

연구 질문

• RQ1 기존 최첨단 QA 모델은 시간 간격에 대한 추론이 필요한 시간에 민감한 질문을 정확하게 답변할 수 있는가?
• RQ2 암시적 시간 표현(예: '전쟁 기간 동안' 또는 '일 년 후')을 포함한 질문에서 모델의 성능은 어떠한가?
• RQ3 명시적으로 기재되지 않은 경우 사실의 종료 시점을 추론하지 못하는 데서 현재 모델이 얼마나 높은 실패율을 보이는가?
• RQ4 시계열 추론의 난이도가 인간 성능 대비 모델 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 데이터셋은 다양한 NLP 아키텍처에서 시계열 추론의 한계를 효과적으로 진단하는 데 기여하는가?

주요 결과

• 가장 높은 성능을 보인 모델인 FiD도 TimeQA의 하드 버전에서 46%의 정확도에 그치며, 인간 성능에 크게 못 미친다.
• 하드 버전에서 인간의 성능은 87%에 이르며, 이는 시계열 추론 능력에 큰 격차가 있음을 시사한다.
• 쉬운 버전에서 하드 버전으로 옮길수록 성능이 60%에서 45%로 떨어지며, 암시적 시계열 추론의 과제를 강조한다.
• 기존 모델은 이벤트 전환에서 종료 시점을 추론하는 등의 시계열 공통지식 추론 능력에 약하다.
• 이 데이터셋은 현재 모델가 암시적 시간 표현에 대해 강건하지 않으며, 더 나은 시계열 지식 통합이 필요하다는 것을 드러낸다.
• 결과적으로 현재 장문의 QA 시스템은 자연어에서 변화하는 사실에 대해 일관된 시계열 추론을 수행할 수 없다는 것이 입증된다.