[논문 리뷰] Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering

Hao Cheng, Ming‐Wei Chang외 2명|arXiv (Cornell University)|2020. 05. 05.

Topic Modeling참고 문헌 24인용 수 13

한 줄 요약

이 논문은 확률 공간, 원격 지도 학습 가정, 최적화/추론 전략 간의 상호작용을 분석함으로써 원격 지도 학습 하에서 문서 수준의 추출적 질의응답을 위한 통합 프레임워크를 제안한다. 다중 목표 손실을 통해 여러 확률적 정식화를 조합함으로써 모델은 TriviaQA-Wiki에서 F1 점수를 4.3점 향상시키고 NarrativeQA 요약에서 Rouge-L을 1.7점 향상시켜 최신 기술 수준 성능을 달성한다.

ABSTRACT

We address the problem of extractive question answering using document-level distant super-vision, pairing questions and relevant documents with answer strings. We compare previously used probability space and distant super-vision assumptions (assumptions on the correspondence between the weak answer string labels and possible answer mention spans). We show that these assumptions interact, and that different configurations provide complementary benefits. We demonstrate that a multi-objective model can efficiently combine the advantages of multiple assumptions and out-perform the best individual formulation. Our approach outperforms previous state-of-the-art models by 4.3 points in F1 on TriviaQA-Wiki and 1.7 points in Rouge-L on NarrativeQA summaries.

연구 동기 및 목표

• 문서 수준의 추출적 질의응답에서 다양한 확률적 가정(특히 확률 공간과 원격 지도 학습 해석 방식)이 모델 성능에 미치는 영향을 조사하는 것.
• 확률 공간(문단 수준 대비 문서 수준 모델링), 원격 지도 학습 가정, 최적화/추론 방법 간의 상호작용을 이해하는 것.
• 특히 답변 문자열 집합으로부터 발생하는 다양한 수준의 레이블 노이즈 상황에서, 데이터에 따라 최적의 구성 요건을 규명하는 것.
• 다양한 확률적 정식화의 장점을 효율적으로 융합할 수 있는 다중 목표 학습 프레임워크를 설계하는 것.
• SQuAD 2.0에서의 전이 학습을 통합하여 TriviaQA-Wiki와 NarrativeQA에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 두 가지 확률 공간을 정식화한다: (1) 문단 수준(H2-P), 각 문단을 독립적으로 점수 매김, (2) 문서 수준(H3-D), 다양한 문단 간의 답변 스파이크를 합산 또는 최댓값 연산자를 통해 집계.
• 세 가지 독립적인 원격 지도 학습 가정을 도입한다: (1) 위치 기반(H1-P), (2) 스파이크 기반(H2-P), (3) 문서 수준(H3-D), 각각 답변 문자열을 가능한 언급 스파이크로 매핑하며, 서로 다른 노이즈 특성을 가진다.
• 문맥과 질문을 인코딩하기 위해 BERT 기반의 통합 질문-문단 인코더를 사용하고, 정의된 확률 공간을 바탕으로 스파이크 점수를 계산한다.
• 다양한 정식화 방식(예: H2-P 및 H3-D)을 동시에 최적화하는 다중 목표 학습 목표를 제안함으로써, 상호 보완적인 강점을 활용할 수 있도록 한다.
• 최적화에 하드 EM과 최대 우도 기반 최대 마진 가능도를 사용하고, 테스트 시점 예측에서 Viterbi 추론과 마진 추론을 평가한다.
• SQuAD 2.0에서의 전이 학습을 적용하여 TriviaQA-Wiki와 NarrativeQA에서의 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 확률 공간 정식화 방식(문단 수준 대비 문서 수준)이 문서 수준의 질의응답에서 원격 지도 학습 가정과 어떻게 상호작용하는가?
• RQ2 답변 문자열 집합 $\mathcal{A}$ 의 크기와 품질을 다양하게 변화시켰을 때, 다양한 확률적 가정 하에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 다중 목표 학습 전략이 여러 확률적 정식화를 효과적으로 융합하여 개별 설정보다 뛰어난 성능을 내는가?
• RQ4 최적화 및 추론 방법(예: 하드 EM 대비 최대 마진 가능도, Viterbi 대비 마진 추론)이 다양한 데이터 분포에서 성능에 어떤 영향을 미치는가?
• RQ5 완전히 지도 학습된 데이터(SQuAD 2.0)에서의 전이 학습이 원격 지도 학습 기반 문서 수준의 질의응답에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 문서 수준의 확률 공간(H3-D)이 문단 수준 모델링(H2-P)보다 뚜렷이 뛰어나며, 특히 더 큰 답변 문자열 집합이나 더 많은 후보 스파이크를 포함하는 노이즈가 많은 하위집합에서 두각을 나타낸다.
• H3-D 정식화 방식은 $\mathcal{Q}^{sl}$ 하위집합(1개의 답변 문자열, 5개 이상의 후보 스파이크)에서 F1 점수를 2.9점 향상시키고, $\mathcal{Q}^{ll}$(다수의 문자열, 5개 이상의 스파이크)에서 2.1점 향상시키며, 레이블 노이즈에 대한 강건성을 입증한다.
• H2-P 및 H3-D 정식화를 융합한 다중 목표 모델은 이전 최신 기술 수준 대비 TriviaQA-Wiki에서 F1 점수를 4.3점 향상시키고, NarrativeQA 요약에서 Rouge-L을 1.7점 향상시킨다.
• SQuAD 2.0에서의 전이 학습은 성능 향상에 추가 기여하여, TriviaQA-Wiki에서 최종 최신 기술 수준 F1 점수 76.3과 NarrativeQA 요약에서 62.9를 달성한다.
• 성능 향상은 특히 노이즈가 많은 데이터 하위집합에서 가장 두드러지며, 이는 큰 또는 정확도가 떨어지는 답변 문자열 집합으로 인해 발생하는 가짜 언급과 암시적 언급을 다루기 위해 문서 수준 모델링이 필수적임을 확인한다.