[논문 리뷰] QuALITY: Question Answering with Long Input Texts, Yes!

Richard Yuanzhe Pang, Alicia Parrish외 9명|arXiv (Cornell University)|2021. 12. 16.

Topic Modeling인용 수 10

한 줄 요약

QuALITY는 평균 5,000 토큰에 이르는 긴 영문 단락을 포함한 다중 선택형 질문 답변 데이터셋을 소개한다. 이는 표면적 검색이 아닌 통합적 이해 능력을 테스트하기 위해 설계되었다. 이 데이터셋은 표준 검증과 시간 제한 검증을 포함한 双중 검증 파이프라인을 사용하여 질문이 깊은 이해를 요구하도록 보장하며, 이로 인해 모델(55.4%)과 인간(93.5%) 간에 뚜렷한 성능 격차가 발생한다. 이는 자연어 처리 분야에서 장문의 문맥 이해 능력이 여전히 큰 도전 과제임을 시사한다.

ABSTRACT

To enable building and testing models on long-document comprehension, we introduce QuALITY, a multiple-choice QA dataset with context passages in English that have an average length of about 5,000 tokens, much longer than typical current models can process. Unlike in prior work with passages, our questions are written and validated by contributors who have read the entire passage, rather than relying on summaries or excerpts. In addition, only half of the questions are answerable by annotators working under tight time constraints, indicating that skimming and simple search are not enough to consistently perform well. Our baseline models perform poorly on this task (55.4%) and significantly lag behind human performance (93.5%).

연구 동기 및 목표

• 표면적 검색이 아닌 통합적 이해 능력이 요구되는 장문 문서에 대한 질문 답변을 평가할 수 있는 고품질 벤치마크의 부족을 해결하기 위해.
• 읽기자가 전체 단락을 완전히 읽은 후 질문을 작성하고 검증함으로써 맥락의 깊이와 모호성이 없는 답변을 보장하기 위해.
• 시간 제한이 있는 경우와 없는 경우의 성능를 비교함으로써, 전체 단락 이해가 필요한 질문을 식별하는 크라우드소싱 파이프라인을 설계하기 위해.
• 특히 여러 섹션에 걸쳐 추론이 필요한 경우, 현재 모델들이 장문의 맥락을 처리하는 데에 가지는 한계를 평가하기 위해.
• 단순한 맥락 처리 능력 이상의 도전 과제를 제시하는 벤치마크를 구축하여, 장문의 맥락을 다루는 자연어 처리의 최전선을 넓히기 위해.

제안 방법

• 작성자가 전체 단락을 읽고 각 기사당 10개의 질문을 생성하는 크라우드소싱 파이프라인으로, 질문이 모호성이 없고 텍스트 전반에 걸친 정보 통합이 필요하도록 보장한다.
• 각 질문은 다섯 명의 시간 제한 없이 전체 단락을 읽은 검증자와 45초 이내로 답변해야 하는 시간 제한이 있는 검증자 다섯 명이 검증한다. 이는 스킴 기반 검색을 시뮬레이션한다.
• 시간 제한이 없는 검증자가 정답을 맞추지만 시간 제한이 있는 검증자가 틀리는 경우, 질문은 '어려움'으로 분류되며, 이는 키워드 기반 검색을 초월한 깊은 이해가 필요함을 시사한다.
• 평가의 단순화와 자유형 생성 메트릭의 모호성을 피하기 위해 다중 선택형 형식을 사용한다.
• 기준 모델은 RoBERTa, DeBERTaV3, Longformer 아키텍처를 사용하여 표준 미세조정 프rotocol에 따라 QuALITY에서 미세조정된다.
• 오라클 기반의 검색 방법을 사용하여 검색 성분과 독해 성분의 기여도를 분리함으로써, 심지어 정확한 답변이 제공된 경우에도 모델이 여전히 성능이 열등함을 입증한다.

실험 결과

연구 질문

• RQ1 모델들이 단일 요약 문장이 아닌 전체 단락의 정보를 통합해야 하는 장문의 문서 질문 답변에서 높은 성능를 달성할 수 있는가?
• RQ2 현재 모델들이 인간 독자에 비해 얼마나 장문의 맥락을 이해하지 못하는가? 그리고 이러한 격차를 초래하는 요인들은 무엇인가?
• RQ3 시간 제한이 있는지 없는지에 따라 성능를 비교하는 이중 검증 파이프라인은 통합적 이해가 필요한 질문을 효과적으로 식별할 수 있는가?
• RQ4 자유형 생성 메트릭의 모호성을 피하기 위해 다중 선택형 형식이 장문의 맥락 이해 능력을 효과적으로 평가할 수 있는가?
• RQ5 장문의 맥락 작업에서 이중 단계 QA 모델의 검색 성분과 독해 성분 간의 상대적 기여도는 어떠한가?

주요 결과

• 가장 높은 성능를 보인 기준 모델인 DeBERTaV3-large는 전체 QuALITY 개발 세트에서 71.9%의 정확도를 기록했으며, 인간의 성능에 비해 뚜렷이 낮았다.
• 인간의 성능은 QuALITY에서 93.5%였으며, 이는 인간과 최고의 모델 간에 38.1%의 성능 격차가 있음을 시사한다.
• 오라클 답변을 질의어로 사용한 경우조차도 최고의 모델이 77.8%의 정확도를 기록하여, 검색 성분과 독해 성분 모두가 장문의 맥락 환경에서 도전 과제임을 입증한다.
• 어휘 일치 히وري스틱(답안 선택지와 텍스트의 일치)은 단지 26.6%의 정확도를 기록하여, 모델들이 간단한 표면 일치에 의존할 수 없음을 입증한다.
• 시간 제한 검증을 통해 식별된 '어려운' 질문은 상당히 어려운 편이었으며, 모델의 성능가 낮았고, 전체 단락 이해가 반드시 필요했다.
• 짧은 맥락을 사용하는 RACE 벤치마크는 DeBERTaV3-large 기준 57.5%의 성능를 기록하여, QuALITY의 장문 맥락 설계가 난이도를 상당히 높임을 시사한다.