[논문 리뷰] ConditionalQA: A Complex Reading Comprehension Dataset with Conditional Answers

Haitian Sun, William W. Cohen외 1명|arXiv (Cornell University)|2021. 10. 13.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 조건부 답변을 갖는 질문을 포함하는 복잡한 독해 이해 데이터셋인 ConditionalQA를 소개한다. 조건부 답변은 특정로 명시된 조건 하에서만 유효하다. 이 데이터셋은 장문의 논리적으로 복잡한 문서에 걸쳐 다단계 추론을 요구하며, 최신 모델들 역시 예/아니요 질문에 대해 64.9%의 정확도, 추출형 답변에 대해 25.2%의 정확한 매칭을 기록하여 현재 모델들이 조건부 논리로 추론하는 데에 상당한 격차를 보이고 있음을 시사한다.

ABSTRACT

We describe a Question Answering (QA) dataset that contains complex questions with conditional answers, i.e. the answers are only applicable when certain conditions apply. We call this dataset ConditionalQA. In addition to conditional answers, the dataset also features: (1) long context documents with information that is related in logically complex ways; (2) multi-hop questions that require compositional logical reasoning; (3) a combination of extractive questions, yes/no questions, questions with multiple answers, and not-answerable questions; (4) questions asked without knowing the answers. We show that ConditionalQA is challenging for many of the existing QA models, especially in selecting answer conditions. We believe that this dataset will motivate further research in answering complex questions over long documents. Data and leaderboard are publicly available at \url{https://github.com/haitian-sun/ConditionalQA}.

연구 동기 및 목표

• 기존 독해 이해 데이터셋이 일반적으로 결정론적 답변을 갖는 데 비해, 특정 맥락 기반 조건에 따라 달라지는 조건부 답변을 갖는 데이터셋을 도입하여 격차를 메우는 것.
• 장문의 논리적으로 구조화된 문서에서 복잡한 내부 의존 관계를 지닌 다단계 추론 능력을 테스트할 수 있는 벤치마크를 만들기 위한 것.
• 현재 최신 QA 모델들이 답변과 관련된 조건을 모두 식별해야 하는 질문에 대해 성능을 평가하여, 추론 및 조건 선택 능력의 한계를 드러내는 것.
• annotation 과정에서 질문 작성과 답변 선택을 분리하여, 답변을 알고 있는 것을 전제로 질문을 만들지 않도록 하여 현실성과 다양성을 향상시키는 것.

제안 방법

• 데이터셋은 영국의 실제 공공 정책 문서에서 유래되었으며, 사망자 장례비 보조금과 같은 복잡한 자격 기준이 포함된 사회 복지 혜택을 중심으로 구성되었다.
• 각 예시에는 사용자 질문, 시나리오 기술, 장문의 정책 문서, 그리고 인간이 애너테이션한 지원 증거가 포함되며, 답변은 반드시 해당 조건과 명시적으로 연결되어 있다.
• 질문 유형은 추출형, 예/아니요, 다중 답변, 답변 불가능형 등 다양하며, 사용자 질문의 실제 세계적 모호성과 불완전성을 반영한다.
• 애너테이션 과정에서 질문 생성과 답변 선택을 분리하여, 답변을 알고 있지 않은 상태에서 질문이 생성되도록 하여 현실성과 편향 감소를 도모한다.
• 모델 평가 시 답변 정확도와 조건 정확도를 모두 고려하며, 답변과 조건을 함께 평가하여 통합적인 추론 성능를 측정한다.
• 기준 모델로는 검색 증강 인코더(예: ETC-pipeline, DocHopper)와 생성형 모델(FiD)을 사용하였으며, 정확도는 답변과 조건에 대해 정확한 매칭(EM)과 F1 점수로 측정되었다.

실험 결과

연구 질문

• RQ1 기존 질문-답변 모델들이 복잡한 정책 문서에서 특정로 명시된 조건 하에서만 유효한 답변을 정확히 식별할 수 있는가?
• RQ2 현재 모델들이 장문의 논리적으로 구조화된 문서에서 복잡한 내부 의존 관계를 지닌 다단계 추론에 얼마나 잘 일반화되는가?
• RQ3 모델들이 정답 조건을 선택하지 못하는 정도는 어느 정도이며, 조건부 답변 예측에서 주요 오류 패턴은 무엇인가?
• RQ4 답변과 조건을 함께 예측할 경우, 답변만 예측할 때와 비교해 성능이 크게 떨어지는가?
• RQ5 신뢰도 점수의 임계값 조정을 통해 조건부 답변 예측 성능을 향상시킬 수 있는가? 이때 과도한 거짓 양성 결과가 발생하지는 않는가?

주요 결과

• 가장 성능이 뛰어난 모델도 예/아니요 질문에 대해 64.9%의 정확도를 기록하여, 항상 '예'라고 답하는 다수결 기준(62.2%)보다 약간 높은 성능에 머물렀다.
• 추출형 질문에 대해서는 최고 모델이 25.2%의 정확한 매칭(EM)을 기록하여, 정답 스팸을 식별하는 데에 큰 어려움을 겪고 있음을 시사한다.
• 답변과 조건을 함께 평가할 경우, 예/아니요 질문에 대해 최고 성능은 49.1% EM으로 떨어졌고, 추출형 질문에 대해서는 22.5% EM로 떨어졌으며, 조건을 예측하지 않은 경우가 가장 좋은 결과를 냈다.
• 조건부 답변이 하나 이상 포함된 질문에 대해서는 조건을 함께 예측할 경우 성능이 90% 이상 감소하여, 조건 선택의 극도로 높은 난이도를 보였다.
• 오류 분석 결과 가장 흔한 오류는 정답 답변의 일부만 예측하는 것이었으며, 특히 다중 답변이 가능한 경우에도 모델이 단일 답변 출력을 선호함으로써 발생했다.
• 조건 신뢰도 점수의 임계값 조정은 조건부 답변 전용 서브셋에선 약간의 성능 향상을 보였지만, 거짓 양성 조건이 증가하면서 전체 성능이 급격히 하락했다.