[논문 리뷰] AmbigQA: Answering Ambiguous Open-domain Questions

Sewon Min, Julian Michael외 2명|arXiv (Cornell University)|2020. 04. 22.

Topic Modeling참고 문헌 27인용 수 16

한 줄 요약

이 논문은 모델이 모호한 질문에 대해 가능한 모든 답변을 식별하고 각각에 대해 의미를 명확히 한 재작성된 질문을 생성해야 하는 새로운 오픈도메인 질의응답 작업인 AmbigQA를 소개한다. NQ-open에서 유래한 14,042개의 모호한 질문으로 구성된 AmbigNQ 데이터셋을 사용하여, 질문의 50퍼센트 이상이 모호한 것으로 나타났으며, NQ-open에서의 약한 감독을 활용해 다중 답변 생성 및 의미 해소 성능을 향상시킨 베이스라인 모델을 제시한다. 이 모델들은 다중 답변 예측에 대해 강력한 제로샷 성능을 달성한다.

ABSTRACT

Ambiguity is inherent to open-domain question answering; especially when exploring new topics, it can be difficult to ask questions that have a single, unambiguous answer. In this paper, we introduce AmbigQA, a new open-domain question answering task which involves finding every plausible answer, and then rewriting the question for each one to resolve the ambiguity. To study this task, we construct AmbigNQ, a dataset covering 14,042 questions from NQ-open, an existing open-domain QA benchmark. We find that over half of the questions in NQ-open are ambiguous, with diverse sources of ambiguity such as event and entity references. We also present strong baseline models for AmbigQA which we show benefit from weakly supervised learning that incorporates NQ-open, strongly suggesting our new task and data will support significant future research effort. Our data and baselines are available at https://nlp.cs.washington.edu/ambigqa.

연구 동기 및 목표

• 모호한 질문이 자주 존재하는 오픈도메인 질의응답에서의 모호성 문제를 해결하기 위해.
• 모델이 모든 유효한 답변을 식별하고 각각에 대해 의미 해소된 질문 변형을 생성해야 하는 새로운 작업인 AmbigQA를 개발하기 위해.
• NQ-open에서 유래한 다양한 모호성 유형을 포함하고 상호 평가자 간 일致도가 높은(89.0 F1) 고품질의 14,042개의 모호한 질문으로 구성된 AmbigNQ를 구축하기 위해.
• NQ-open에서의 약한 감독을 활용해 다중 답변 생성 및 의미 해소에 대한 강력한 베이스라인 모델을 수립하기 위해.
• 단일 답변 NQ-open 데이터로 사전 훈련된 모델을 사용해 다중 답변 예측의 제로샷 가능성 평가하기 위해.

제안 방법

• NQ-open에서 14,042개의 모호한 질문을 수집하여 AmbigNQ를 구축하고, 인간 평가자가 위키백과 검색 및 읽기를 통해 가능한 모든 답변을 식별한다.
• 다단계 모델 파이프라인 설계: (1) 집합 기반 답변 생성을 위한 시퀀스 투 시퀀스 모델, (2) 각 답변에 대해 질문을 재작성하는 의미 해소 모델, (3) NQ-open에서의 부분적 감독을 활용하기 위해 수정된 민주적 공훈련 접근법.
• NQ-open에서 미세조정된 모델로부터 다중 답변을 추출하기 위해 임계값 전략을 적용하여 제로샷 다중 답변 예측을 가능하게 한다.
• 각 구성 요소가 답변 회수 및 의미 해소 품질에 미치는 영향을 평가하기 위해 추상화 분석 및 정성적 분석을 수행한다.
• 모든 답변에 대한 완전한 애너테이션을 요구하지 않고도, NQ-open에서의 약한 감독을 활용해 AmbigNQ에서의 성능을 향상시키기 위해 모델을 훈련한다.
• NQ-open에서 정확도 매칭(EM)과 AmbigNQ의 다중 답변 예측 작업에서 F1을 사용해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 기존 벤치마크인 NQ-open와 같은 오픈도메인 질문 중 실제로 모호한 질문의 비율은 얼마이며, 주요 모호성 원인은 무엇인가?
• RQ2 단일 답변 QA 데이터로 훈련된 모델이 다중 가능한 답변을 포함한 모호한 질문에 대해 직접적인 다중 답변 예제 감독 없이 일반화할 수 있는가?
• RQ3 약한 감독 학습 방법은 모호한 질문에 대한 다중 답변 생성 및 의미 해소된 질문 재작성에 얼마나 효과적인가?
• RQ4 다중 답변 생성에서 주요 실패 유형은 무엇인가, 특히 답변 회수 및 답변 선택 측면에서?
• RQ5 질문의 모호성이 표준 벤치마크인 NQ-open에서 모델 성능을 과소평가하는 데 얼마나 기여하는가?

주요 결과

• NQ-open의 질문 중 50퍼센트 이상이 모호하며, 주요 원인은 실체 참조, 사건 참조, 답변 유형, 시간 의존성 등 다양하다.
• AmbigNQ 데이터셋은 14,042개의 애너테이션된 질문을 포함하고 있으며, 평균 각 질문당 2.1개의 서로 다른 답변이 있으며 상호 평가자 간 일치도가 높다(89.0 F1).
• NQ-open에서의 약한 감독을 통해 미세조정된 베이스라인 모델은 다중 답변 예측에서 강력한 제로샷 성능을 달성했으며, SpanSeqGen 모델은 AmbigNQ의 다중 답변 F1에서 42.2 F1을 기록했다.
• 답변 회수는 여전히 주요 과제이다: 20개의 부분 정답 예측 중 15개에서는 모델이 오직 하나의 답변만 생성하여 종종 타당한 대안을 놓친다.
• 비모호한 질문에 대한 성능은 높다(20개 중 13개 정답), 이는 표준 벤치마크인 NQ-open가 모호성이 표시되지 않은 상태에서 모델 성능을 과소평가할 수 있음을 시사한다.
• 결과는 향후 AmbigQA 연구에서 답변 회수 및 의미 해소 품질 향상이 핵심 과제임을 시사한다.