[논문 리뷰] Multi-Row, Multi-Span Distant Supervision For Table+Text Question

Vishwajeet Kumar, Yash P. Gupta외 5명|arXiv (Cornell University)|2021. 12. 14.

Topic Modeling인용 수 4

한 줄 요약

MITQA는 다중 행 및 다중 스파니 설정에서 원격 지도 학습을 다루기 위해 다중 인스턴스 손실과 커리큘럼 학습을 활용하는 트랜스포머 기반 TextTableQA 시스템이다. HybridQA와 OTT-QA에서 모두 최신 기준 성능을 달성하여 HybridQA 랜드보드에서 가장 높은 EM 및 F1 스코어를 기록한다.

ABSTRACT

Question answering (QA) over tables and linked text, also called TextTableQA, has witnessed significant research in recent years, as tables are often found embedded in documents along with related text. HybridQA and OTT-QA are the two best-known TextTableQA datasets, with questions that are best answered by combining information from both table cells and linked text passages. A common challenge in both datasets, and TextTableQA in general, is that the training instances include just the question and answer, where the gold answer may match not only multiple table cells across table rows but also multiple text spans within the scope of a table row and its associated text. This leads to a noisy multi instance training regime. We present MITQA, a transformer-based TextTableQA system that is explicitly designed to cope with distant supervision along both these axes, through a multi-instance loss objective, together with careful curriculum design. Our experiments show that the proposed multi-instance distant supervision approach helps MITQA get state-of-the-art results beating the existing baselines for both HybridQA and OTT-QA, putting MITQA at the top of HybridQA leaderboard with best EM and F1 scores on a held out test set.

연구 동기 및 목표

• TextTableQA에서 답변이 여러 테이블 행과 텍스트 스팬에 걸쳐 분산되어 있을 경우 발생하는 노이즈가 많은 다중 인스턴스 지도 학습 문제를 해결하기 위해.
• 학습 중 다중 행 및 다중 스팬 답변 매칭을 명시적으로 모델링하여 하이브리드 테이블-텍스트 QA에서 모델의 강건성과 정확도를 향상시키기 위해.
• 정확한 셀 또는 스팬 수준의 지도 학습이 필요 없이 원격 지도 학습을 활용하여 인간의 애너테이션 부담을 줄이기 위해.
• 검색 및 독해 컴포넌트를 분리한 모듈러하고 학습 가능한 파이프라인을 설계하여 최적화와 해석 가능성 향상을 위해.

제안 방법

• MITQA는 각 테이블 행과 연결된 텍스트 문단을 하나의 검색 유닛으로 간주하여 하이브리드 컨텍스트의 구조적 처리를 가능하게 한다.
• 질문에 기반한 문단 필터를 적용하여 컨텍스트 길이를 줄이고, 트랜스포머에 입력하기 전에 가장 관련성이 높은 스팬만 유지한다.
• 학습 중에 다양한 행과 문단에서 유효한 답변 스팬이 존재하는 경우를 처리하기 위해 다중 인스턴스 손실 함수를 적용한다.
• 답변 국소화 정확도 향상을 위해 질문과 컨텍스트 표현 간의 초기 상호작용(Cross-attention)을 활용한다.
• 점진적으로 학습 복잡도를 높이는 커리큘럼 학습 전략을 적용하여 수렴성과 일반화 능력을 향상시킨다.
• 다양한 행과 그에 연결된 문단의 예측을 통합하여 최종 답변을 선택하기 위해 답변 재정렬기(Answer Re-ranker)를 활용한다.

실험 결과

연구 질문

• RQ1 답변이 연결된 텍스트의 여러 행과 스팬에 분산되어 있을 경우, TextTableQA 시스템은 어떻게 원격 지도 학습을 효과적으로 다룰 수 있는가?
• RQ2 학습 중에 여러 유효한 답변 인스턴스를 모델링함으로써 다중 인스턴스 손실 함수가 모델 성능 향상에 기여할 수 있는가?
• RQ3 질문에 기반한 문단 필터링은 관련 컨텍스트를 유지하고 노이즈를 줄여 답변 추출 정확도를 향상시키는가?
• RQ4 커리큘럼 학습 전략은 다중 인스턴스 TextTableQA에서 학습 안정성과 성능 향상에 어느 정도 기여하는가?
• RQ5 에러 누적 가능성이 있는 비종속적(non-end-to-end) 설계를 가진 모듈러한 접근 방식이 여전히 TextTableQA에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• MITQA는 보류된 테스트 세트에서 가장 높은 정확도 매칭(EM) 및 F1 스코어를 기록하며 HybridQA 랜드보드에서 최신 기준 성능을 달성한다.
• 다중 인스턴스 손실은 표준 크로스 엔트로피 손실 대비 약 2% 향상된 행 검색 정확도를 기록한다.
• 문단 필터링은 관련 컨텍스트를 유지하고 잘라내기로 인한 정보 손실을 줄여 약 3% 향상된 행 검색 정확도를 기록한다.
• 다중 인스턴스 손실과 문단 필터링의 조합은 HybridQA 개발 세트에서 행 검색 정확도를 86.38%까지 끌어올린다.
• MITQA는 HybridQA와 OTT-QA 양쪽 벤치마크에서 HYBRIDER 및 기타 기존 베이스라인을 모두 능가하여 다양한 벤치마크에서 강력한 일반화 능력을 입증한다.
• 사례 연구 결과, MITQA는 HYBRIDER가 여러 행에서 잘못된 매칭으로 인해 실패하는 복잡한 케이스에서도 정답을 올바르게 식별하는 것으로 나타났다.