[논문 리뷰] StreamingQA: A Benchmark for Adaptation to New Knowledge over Time in Question Answering Models

Adam Liška, Tomáš Kočiský외 12명|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 16

한 줄 요약

StreamingQA는 14년간의 뉴스 기사 자료를 활용해 시간이 흐름에 따라 변화하는 지식에 대응하는 능력을 평가하기 위한 대규모 시계열 질문 응답 벤치마크를 제안한다. 이 연구는 파라메트릭 모델의 점진적 미세조정이 전체 재학습 대비 계산 비용을 95% 감소시키며, 반면 반파라메트릭 모델은 업데이트된 언어 모델에서 큰 이점을 얻고, 명사어 빈도에 따라 상호보완적인 강점을 보인다.

ABSTRACT

Knowledge and language understanding of models evaluated through question answering (QA) has been usually studied on static snapshots of knowledge, like Wikipedia. However, our world is dynamic, evolves over time, and our models' knowledge becomes outdated. To study how semi-parametric QA models and their underlying parametric language models (LMs) adapt to evolving knowledge, we construct a new large-scale dataset, StreamingQA, with human written and generated questions asked on a given date, to be answered from 14 years of time-stamped news articles. We evaluate our models quarterly as they read new articles not seen in pre-training. We show that parametric models can be updated without full retraining, while avoiding catastrophic forgetting. For semi-parametric models, adding new articles into the search space allows for rapid adaptation, however, models with an outdated underlying LM under-perform those with a retrained LM. For questions about higher-frequency named entities, parametric updates are particularly beneficial. In our dynamic world, the StreamingQA dataset enables a more realistic evaluation of QA models, and our experiments highlight several promising directions for future research.

연구 동기 및 목표

• QA 모델이 시간이 지남에 따라 새로운 지식에 적응하고 기존 지식을 상실하는 것을 방지하는 능력을 평가하는 데에 격차를 메우기 위해.
• 위키백과와 같은 정적 스냅샷과 달리, 질문과 지식 소스 양쪽 모두에 시간적 기반을 제공하는 벤치마크를 만들기 위해.
• 파라메트릭 및 반파라메트릭 QA 모델에서 점진적 미세조정과 검색 기반 적응의 효과성을 연구하기 위해.
• 상대적 시간 참조(예: '일주일 전')를 포함한 질문과 다양한 명사어 빈도에서의 모델 성능을 평가하기 위해.

제안 방법

• 2007~2020년 기간 동안의 시간이 표시된 뉴스 기사와 함께 인간이 작성한 질문과 언어 모델이 생성한 질문을 결합한 대규모 데이터셋인 StreamingQA를 구축한다.
• 각 질문에 구체적인 질문 일자를 부여하고, 출판 일자가 명시된 참조 답변 3개와 증거 문서를 제공한다.
• 사전 훈련 기간 동안 볼 수 없었던 새로운 기사들을 순차적으로 입력하면서 분기별로 모델을 평가하여 스트리밍 지식 업데이트 시나리오를 시뮬레이션한다.
• 언어 모델 기반 QA 검증, Google 검색 검증, 명사어 제약 조건을 활용해 자동 필터링을 적용하여 단순하거나 저질의 생성 질문을 제거한다.
• 파라메트릭 모델에 대해 점진적 미세조정을 구현하고, 최근 지식과 과거 지식 양쪽에서 성능을 평가한다.
• 명사어 빈도 기반 분석을 통해 고빈도 대비 저빈도 명사어에서의 성능을 비교하여, 파라메트릭 및 반파라메트릭 접근 방식 간의 상호보완적 강점을 규명한다.

실험 결과

연구 질문

• RQ1 파라메트릭 및 반파라메트릭 QA 모델은 치명적인 잊힘 없이 시간이 지남에 따라 새로운 지식에 어떻게 적응하는가?
• RQ2 전체 재학습 대비 파라메트릭 언어 모델의 점진적 미세조정이 성능 향상에 얼마나 기여하는가?
• RQ3 명사어의 빈도는 파라메트릭 대비 반파라메트릭 적응 전략의 성능에 어떤 영향을 미치는가?
• RQ4 스트리밍 QA 환경에서 상대적 시간 참조(예: '일주일 전')를 효과적으로 처리할 수 있는가?
• RQ5 반파라메트릭 검색 기반 시스템에서 오래된 언어 모델을 사용할 경우 어떤 영향을 미치는가?

주요 결과

• 점진적 미세조정은 전체 재학습 대비 훈련 단계를 95% 감소시키며, 파라메트릭 모델에서 치명적인 잊힘을 방지한다.
• 업데이트된 언어 모델을 사용하는 반파라메트릭 모델은 새로운 기사가 검색 코퍼스에 추가된 경우조차도 오래된 언어 모델을 사용하는 모델보다 성능이 뛰어나다.
• 파라메트릭 적응은 고빈도 명사어를 포함한 질문에서 성능 향상이著명하며, 이는 검색 기반 방법이 어려움을 겪는 영역이다.
• 반파라메트릭 적응은 저빈도 명사어에서 더 효과적이며, 이는 검색 노이즈와 모호성이 감소하기 때문이다.
• 벤치마크는 상호보완적 강점을 드러낸다: 파라메트릭 업데이트는 빈도가 높은 실체에서 유리하고, 검색 기반 업데이트는 희귀 실체에서 유리하다.
• 이 데이터셋은 질문과 지식 소스의 시간적 기반을 제공함으로써, 실시간 동적 환경에서의 QA 시스템에 현실적인 평가를 가능하게 한다.