[논문 리뷰] A Qualitative Comparison of CoQA, SQuAD 2.0 and QuAC

Mark Yatskar|arXiv (Cornell University)|2018. 09. 27.

Topic Modeling참고 문헌 31인용 수 9

한 줄 요약

이 논문은 CoQA, SQuAD 2.0, QuAC 세 가지 질문-답변 데이터셋 간의 정성적 비교를 수행하며, 답변 불가 질문, 다중 전환 대화 기능, 개괄적 답변을 중심으로 분석한다. 자기주의 주의(self-attention)와 ELMo 임bedding을 통합한 개선된 추출 모델인 BiDAF++을 제안하며, CoQA에서 최신 기준 성능을 달성하고, 다른 데이터셋 간의 미세조정을 통한 중간 수준의 전이 성능를 보여주지만, 직접적인 전이 가능성은 열악하다.

ABSTRACT

We compare three new datasets for question answering: SQuAD 2.0, QuAC, and CoQA, along several of their new features: (1) unanswerable questions, (2) multi-turn interactions, and (3) abstractive answers. We show that the datasets provide complementary coverage of the first two aspects, but weak coverage of the third. Because of the datasets' structural similarity, a single extractive model can be easily adapted to any of the datasets and we show improved baseline results on both SQuAD 2.0 and CoQA. Despite the similarity, models trained on one dataset are ineffective on another dataset, but we find moderate performance improvement through pretraining. To encourage cross-evaluation, we release code for conversion between datasets at https://github.com/my89/co-squac .

연구 동기 및 목표

• CoQA, SQuAD 2.0, QuAC 간에 답변 불가 질문, 다중 전환 대화 상호작용, 개괄적 답변 생성의 커버리지 차이를 분석하고 비교하기.
• 구조적 유사성에도 불구하고, 질문-답변 모델의 이 세 데이터셋 간 전이 가능성 평가하기.
• 자기주의 주의와 ELMo 임베딩을 통합한 BiDAF++을 통해 CoQA에서 향상된 성능과 데이터셋 간 평가를 위한 강력한 추출 기반 모델 설정하기.
• 데이터셋 간 전이 및 평가를 촉진하기 위해 도구를 공개하기.

제안 방법

• 자기주의 주의와 ELMo 컨텍스트 기반 단어 임베딩을 통합한 통합 추출 모델인 BiDAF++을 세 데이터셋 모두에 적용.
• 답변 불가 질문을 처리하기 위해 '예/아니요' 또는 '답변 불가'로 분류하도록 모델을 수정하고, 대화 맥락을 처리하기 위해 이전 답변 스팸을 맥락에 직접 표시.
• 각 데이터셋에서 별도로 모델을 훈련하고, 다른 데이터셋에서의 사전 훈련을 통해 미세조정하여 전이 성능 평가.
• 대화 모델링을 위해 이중 맥락 설정을 사용하여 이전 질문-답변 쌍을 인코딩하고 자기주의 주의 메커니즘을 통해 어텐션 적용.
• 예/아니요 질문에 대한 출력 전략으로 근거 스팸 기반 전략을 구현하여 추출 스팸 대신 '예' 또는 '아니요' 반환.
• https://github.com/my89/co-squac 에서 변환 도구 공개하여 데이터셋 간 평가 및 모델 이식성 향상 지원.

실험 결과

연구 질문

• RQ1 CoQA, SQuAD 2.0, QuAC는 답변 불가 질문의 커버리지에서 어떤 차이를 보이며, 거짓 전제, 정보 부족, 엔티티 혼합 등 원인 측면에서 어떻게 다를까?
• RQ2 주제 전환, 명확화 질문, 주제 복귀 행동 등의 대화 기능이 세 데이터셋 간에 얼마나 다를까?
• RQ3 한 데이터셋에서 훈련한 모델이 다른 데이터셋으로 일반화되는 정도는 어떠하며, 사전 훈련이 데이터셋 간 성능 향상에 어떤 역할을 할까?
• RQ4 QuAC와 CoQA에서 추출 기반 성능의 상한선은 얼마이며, 개괄적 답변 보완을 통해 얼마나 향상시킬 수 있을까?
• RQ5 단일 추출 모델 아키텍처가 최소한의 아키텍처 변경으로 세 데이터셋 모두에 효과적으로 적응할 수 있을까?

주요 결과

• SQuAD 2.0는 다양한 유형의 답변 불가 질문을 커버하며, 거짓 전제(21.3%)와 정보 부족(16.1%)을 포함하지만, QuAC는 주로 정보 부족(71.2%)에 집중하고 CoQA는 답변 불가 질문 커버리지가 극히 낮음(1000개 질문 중 5개).
• QuAC는 주제 전환 빈도가 높음(35.4%)이며 문장 커버리지가 낮음(28.4%)한 반면, CoQA는 세부적인 탐색(72.0%)과 높은 문장 커버리지(63.3%)를 강조함.
• BiDAF++는 CoQA에서 F1 점수 70.5를 기록하여 이전 추출 기반 기준보다 14.2 F1 향상, 개괄적 기반 기준보다 2.7 F1 향상.
• SQuAD 2.0나 CoQA에서 사전 훈련한 모델은 타겟 데이터셋으로 전이될 때 평균 2.1 F1 향상 기록하여, 직접 전이 가능성은 열악하나 중간 수준의 전이 가능성 확인.
• QuAC의 추출 기반 상한선은 100 F1, CoQA는 97.8 F1이며, 대부분의 개괄적 답변이 최소한의 어색한 어순 조정이나 공호소성 처리를 포함해 추출 스팸과 높은 겹침을 보임.
• 구조적 유사성에도 불구하고, 사전 훈련 또는 도메인 특화 적응 없이 한 데이터셋에서 훈련된 모델은 다른 데이터셋에서 성능이 열악하여 사전 훈련 또는 도메인 적응 필요성 강조.