[논문 리뷰] QuAC : Question Answering in Context

Eunsol Choi, He He외 6명|arXiv (Cornell University)|2018. 08. 21.

Topic Modeling참고 문헌 22인용 수 53

한 줄 요약

QUAC는 학생이 숨겨진 위키피디아 섹션에 대해 질문하고 교사가 텍스트 스팬으로 답하는 정보 탐색 대화 QA의 대규모 데이터셋을 도입하며, 개방형(open-ended) 및 답변 불가능(unanswerable) 케이스를 드러내고 정확한 답을 위해 대화 맥락이 필요함을 보여준다.

ABSTRACT

We present QuAC, a dataset for Question Answering in Context that contains 14K information-seeking QA dialogs (100K questions in total). The dialogs involve two crowd workers: (1) a student who poses a sequence of freeform questions to learn as much as possible about a hidden Wikipedia text, and (2) a teacher who answers the questions by providing short excerpts from the text. QuAC introduces challenges not found in existing machine comprehension datasets: its questions are often more open-ended, unanswerable, or only meaningful within the dialog context, as we show in a detailed qualitative evaluation. We also report results for a number of reference models, including a recently state-of-the-art reading comprehension architecture extended to model dialog context. Our best model underperforms humans by 20 F1, suggesting that there is significant room for future work on this data. Dataset, baseline, and leaderboard available at http://quac.ai.

연구 동기 및 목표

• 정보 탐색 대화에서 맥락 의존적이며 섹션만으로는 답이 불가능할 수 있는 질문 처리.
• 대규모 데이터셋(14K 대화, 100K 질문)과 교사-학생 상호작용 및 접근 비대칭성 확보.
• 대화 맥락이 QA 성능에 미치는 영향을 조사하고 맥 context를 반영하는 강력한 베이스라인을 제공.

제안 방법

• 위키피디아 섹션을 둘러싼 crowd-sourced 교사-학생 대화(학생은 제목과 첫 문단만 보이고, 교사는 전체 섹션을 봄)에서 답은 섹션 텍스트 내의 스팬(최대 30 토큰).
• 교사는 대화를 이끄는 방향으로 대화 행위(계속 대화, 확인, 답변 가능 여부)와 함께 답변 스팬을 제시.
• 품질 관리 및 턴당 보상이 포함된 Mechanical Turk를 이용한 데이터 수집; 대화는 12개의 답변된 질문 또는 조기 중단 조건에서 종료.
• 스팬 예측을 SQuAD 스타일의 F1로 취급하되 불가 처리 포함, 시스템과 인간 성능의 비교를 위한 인간-동등성 점수(HEQ)도 평가.
• 베이스라인 모델은 텍스트 유사성, 대화 맥 context에 맞춘 BiDAF++ 스타일 읽기 이해 모델, 그리고 이전 턴에 조건을 두는 맥 context 확장 변형을 포함.

실험 결과

연구 질문

• RQ1 대화 맥 context가 정보 탐색 QA의 답 가능성과 스팬 위치 지정에 어떤 영향을 미치는가?
• RQ2 질문 중 몇 %가 맥락 의존적이거나 비사실적인가, 그리고 답이 불가능한 질문이 모델링에 어떤 영향을 주는가?
• RQ3 최신 읽기 이해 모델을 대화 맥 context로 확장하면 QUAC에서 인간 성능에 근접할 수 있는가?
• RQ4 인간의 상한 성능은 얼마이며 현재 모델은 그것으로부터 얼마나 벗어나 있는가?

주요 결과

모델	F1	HEQ-Q	HEQ-D	예 / 아니오	후속질문	F1 (모두)
랜덤 문장	15.7 / 15.6	6.9 / 6.9	0.0 / 0.1	—	—	16.4 / 16.3
다수 답변	22.7 / 22.5	22.7 / 22.5	0.5 / 0.4	—	—	78.8 / 77.6
전이 행렬(TM)	31.8 / 31.5	15.8 / 15.8	0.1 / 0.2	—	—	31.2 / 30.9
사전 학습된 InferSent	21.4 / 20.8	10.2 / 10.0	0.0 / 0.0	—	—	22.0 / 21.4
로지스틱 회귀	34.3 / 33.9	22.4 / 22.2	0.6 / 0.2	—	—	34.3 / 33.8
BiDAF++ (ctx 없음)	51.8 / 50.2	45.3 / 43.3	2.0 / 2.2	86.4 / 85.4	59.7 / 59.0	50.1 / 48.2
BiDAF++ (w/ 1-ctx)	59.9 / 59.0	54.9 / 53.6	4.7 / 3.4	86.5 / 86.1	61.3 / 60.3	57.5 / 56.5
BiDAF++ (w/ 2-ctx)	60.6 / 60.1	55.7 / 54.8	5.3 / 4.0	86.6 / 85.7	—	61.6 / 61.3
BiDAF++ (w/ 3-ctx)	60.6 / 59.5	55.6 / 54.5	5.0 / 4.1	86.1 / 85.7	—	61.6 / 61.2
Gold NA + TM	43.0 / 42.6	27.4 / 27.4	1.0 / 0.8	—	—	41.0 / 40.6
Gold sentence + NA	72.4 / 72.7	61.8 / 62.7	9.8 / 9.7	—	—	70.8 / 71.2
Human performance	80.8 / 81.1	100 / 100	100 / 100	—	—	74.6 / 74.7

• QUAC은 14K 대화(100K 질문)를 포함하며 많은 개방형, 맥락적, 불가능한 질문을 포함한다.
• 대화 맥 context를 활용한 강력한 베이스라인(BiDAF++ + 대화 맥 context)은 맥 context를 고려하지 않는 모델보다 성능이 향상되나 전체 태스크에서 인간 성능보다 약 20 F1 포인트 낮다.
• 맥 context를 최대 2-3 턴까지 도입하면 상당한 이점을 얻지만 더 많은 맥 context는 수익 감소를 보인다.
• 많은 질문이 맥락적(86%), 또한 대화 이력에 의존하는 비중이 큰데, 대화 이력 참조는 44%, 기사 주제 참조는 61%이다.
• 평균 정답 길이는 표준 SQuAD 스타일 태스크보다 길며(약 15 토큰), 개방형 응답을 반영한다.
• 인간 상한 F1은 80.8이고, 최상의 모델은 약 60 F1 및 약 60% HEQ-D에 도달하여 향상 여지가 크게 남아 있다.