[논문 리뷰] Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval

Akari Asai, Eunsol Choi|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 34인용 수 8

한 줄 요약

이 논문은 정보 탐색 질문-답변(QA)에서의 과제를 조사하며, Natural Questions와 TyDi QA에서 모델 성능의 두 주요 장애물로 문단 검색과 답변 가능성 예측을 규명한다. 6개 언어에서 800개의 답변 불가 질문에 대한 통제 실험 및 수동 분석을 통해 저자들은 최신 모델이 골드 표준 문단과 답변 가능성 레이블이 제공될 경우 인간 분석가를 초월하지만, 특히 데이터셋 특화 및 언어적 특징으로 인해 답변 불가를 탐지하는 데 어려움을 겪는다는 점을 밝혀내며, 실제 QA 시스템을 위한 데이터셋 설계와 모델 개발에서의 핵심적 격차를 드러낸다.

ABSTRACT

Recent pretrained language models "solved" many reading comprehension benchmarks, where questions are written with access to the evidence document. However, datasets containing information-seeking queries where evidence documents are provided after the queries are written independently remain challenging. We analyze why answering information-seeking queries is more challenging and where their prevalent unanswerabilities arise, on Natural Questions and TyDi QA. Our controlled experiments suggest two headrooms -- paragraph selection and answerability prediction, i.e. whether the paired evidence document contains the answer to the query or not. When provided with a gold paragraph and knowing when to abstain from answering, existing models easily outperform a human annotator. However, predicting answerability itself remains challenging. We manually annotate 800 unanswerable examples across six languages on what makes them challenging to answer. With this new data, we conduct per-category answerability prediction, revealing issues in the current dataset collection as well as task formulation. Together, our study points to avenues for future research in information-seeking question answering, both for dataset creation and model development.

연구 동기 및 목표

• Natural Questions와 TyDi QA와 같은 정보 탐색 QA 데이터셋에서 답변 불가의 근본 원인을 규명하기 위해.
• 현재 최고 수준의 모델 성능 이론을 넘어서는 잠재력의 정도를 정량화하여, 문단 선택과 답변 가능성 예측에 초점을 맞추기 위해.
• 스팬 추출을 넘어서 개괄적 요약 생성을 탐색함으로써 답변 커버리지 향상을 위해 다른 지식 소스를 분석하기 위해.
• 다양한 언어와 질문 유형에서 답변 가능성 예측의 효과성을 평가하여 데이터셋 특화 및 언어적 편향을 드러내기 위해.
• 실제 QA 시스템을 위한 향후 연구를 이끌기 위해 데이터셋 제작 및 모델 개발에서 실행 가능한 개선 사항을 규명하기 위해.

제안 방법

• Natural Questions와 TyDi QA에서 네 가지 다른 QA 모델을 사용하여 통제 실험을 수행하며, 골드 표준 문단과 답변 가능성 레이블이 제공되었을 때의 성능을 비교하였다.
• 영어, 독일어, 스페인어, 일본어, 한국어, 러시아어의 6개 언어에서 800개의 답변 불가 질문을 상세한 원인 분류와 함께 수동으로 분석하였다.
• 질문 불가 원인을 '모호성', '정보 부족', '사실 오류' 등 6개의 구체적 카테고리로 분류하여 실패 원인을 분석하였다.
• 답변 불가 질문에 대해 대체 답변과 지식 소스를 수집하여 답변 커버리지 향상 잠재력을 평가하였다.
• 각 카테고리별 답변 가능성 예측을 수행하여 다양한 종류의 답변 불가에 대한 모델 성능을 평가하였다.
• 질문 전용 기준 모델, 최고 수준의 QA 모델, 인간 합의도를 사용하여 답변 가능성 예측을 평가하였으며, SQuAD 2.0 포함 다양한 데이터셋에서 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 Natural Questions와 TyDi QA와 같은 정보 탐색 QA 데이터셋에서 답변 불가의 주요 원인은 무엇인가?
• RQ2 QA 모델의 성능 격차 중 문단 검색과 답변 가능성 예측이 각각 얼마나 기여하는가?
• RQ3 골드 표준 문단과 답변 가능성 신호가 제공될 경우 최신 모델이 인간 분석가를 얼마나 초월할 수 있는가?
• RQ4 언어 및 데이터셋 간에 답변 불가 패턴은 어떻게 다를지, 그리고 모델 실패의 원인이 되는 언어적 또는 구조적 특징은 무엇인가?
• RQ5 실제 정보 탐색 QA를 위한 답변 커버리지 향상과 모델 강인성 향상을 위해 데이터셋 수집 및 작업 정의에서 어떤 개선이 가능한가?

주요 결과

• 골드 표준 문단과 답변 가능성 레이블이 제공될 경우 최신 QA 모델의 F1 점수는 단일 인간 분석가의 성능을 초월한다. 이는 주요 과제가 문단 선택과 답변 가능성 예측에 있음을 시사한다.
• 답변 가능성 예측은 여전히 중대한 과제로 남아 있다. 특히 질문의 모호성, 사실 오류, 문서 내 정보 부족으로 인한 답변 불가를 탐지하는 데 모델이 어려움을 겪는다.
• 통제 실험 결과, 골드 표준 문단이 제공될 경우 성능이 최대 10% F1 향상되며, 이는 문단 검색이 주요 장애물임을 강력히 시사한다.
• 6개 언어에서 800개의 답변 불가 예제를 수동 분석한 결과, 답변 불가가 단일한 원인으로 귀결되지 않음을 확인하였으며, '모호한 질의'와 '틀린 정보' 등의 카테고리는 특히 탐지하기 어려운 편이다.
• 질문의 표면 형태에 특수한 특징이 존재하여, 질문만으로도 모델이 답변 가능성 예측을 수행할 수 있음을 발견하여, 현재 데이터셋에서 단순한 학습 전략의 위험이 있음을 시사한다.
• 많은 답변 불가 질문에 대해 대체 지식 소스가 존재함을 확인하였으며, 위키피디아 외의 정보 소스로 확장할 경우 답변 커버리지 향상에 상당한 기여가 가능할 것으로 보인다.