[논문 리뷰] End-to-End Table Question Answering via Retrieval-Augmented Generation

Feifei Pan, Mustafa Canim외 3명|arXiv (Cornell University)|2022. 03. 30.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 Retrieval-Augmented Generation (RAG)을 사용하여 밀도 벡터 검색기(DPR)와 BART 기반의 시퀀스-투-시퀀스 생성기 간을 공동으로 미세조정하는 엔드 투 엔드 테이블 질의응답 모델인 \texttt{\projName}을 제안한다. 검색과 생성을 하나의 훈련 과정에서 통합함으로써, \texttt{\projName}은 엔드 투 엔드 테이블 QA 및 테이블 검색 벤치마크에서 최신 기준 성능을 달성하며, 이전의 두 단계 모델보다 오류 전파를 줄이고 정확도를 향상시킨다.

ABSTRACT

Most existing end-to-end Table Question Answering (Table QA) models consist of a two-stage framework with a retriever to select relevant table candidates from a corpus and a reader to locate the correct answers from table candidates. Even though the accuracy of the reader models is significantly improved with the recent transformer-based approaches, the overall performance of such frameworks still suffers from the poor accuracy of using traditional information retrieval techniques as retrievers. To alleviate this problem, we introduce T-RAG, an end-to-end Table QA model, where a non-parametric dense vector index is fine-tuned jointly with BART, a parametric sequence-to-sequence model to generate answer tokens. Given any natural language question, T-RAG utilizes a unified pipeline to automatically search through a table corpus to directly locate the correct answer from the table cells. We apply T-RAG to recent open-domain Table QA benchmarks and demonstrate that the fine-tuned T-RAG model is able to achieve state-of-the-art performance in both the end-to-end Table QA and the table retrieval tasks.

연구 동기 및 목표

• 기존의 두 단계 테이블 QA 프레임워크에서 검색기의 정확도 부족으로 인한 오류 전파 문제를 해결하기 위해.
• 밀도 기반 검색을 시퀀스-투-시퀀스 생성과 통합하여 통합된 훈련 파이프라인을 통해 엔드 투 엔드 테이블 QA 성능을 향상시키기 위해.
• 엔드 투 엔드 테이블 QA 및 독립적인 테이블 검색 작업 모두에서 최신 기준 성능을 달성하기 위해.
• 오픈 도메인 테이블 QA에서 비모수적 밀도 벡터 인덱스와 모수적 생성 모델의 공동 미세조정의 효과를 탐색하기 위해.
• 특히 수치적 값이 포함된 경우에 어려운 케이스에 대한 모델의 강건성을 평가하기 위해.

제안 방법

• 모델은 이중 스트림 아키텍처를 사용한다: 밀도 기반 검색을 위한 BERT 기반 쿼리 인코더와 시퀀스-투-시퀀스 생성을 위한 BART 기반 생성기.
• DPR 검색기와 RAG 생성기를 하나의 엔드 투 엔드 훈련 과정에서 공동으로 미세조정함으로써 별도의 훈련 단계를 제거한다.
• 훈련 중에 소프트 하드 음성 마이닝 전략을 적용하여, BM25에서 추출한 상위-k개의 음성 테이블을 사용해 검색 일반화를 향상시킨다.
• 검색 컴포넌트는 밀도 벡터 임베딩을 사용해 테이블 코퍼스를 검색하고, 생성기는 검색된 테이블 컨텍스트에 조건부로 답변 토큰을 생성한다.
• 생성에 대한 교차 엔트로피 손실과 검색에 대한 대비 손실을 조합하여 엔드 투 엔드로 최적화된 모델을 훈련한다.
• 평가에서는 표준 메트릭(EM, F1, MRR, k 단위의 재현율 포함)을 사용해 NQ-TABLES 및 E2E_WTQ 두 벤치마크에서 수행된다.

실험 결과

연구 질문

• RQ1 밀도 기반 검색기와 시퀀스-투-시퀀스 생성기를 공동으로 엔드 투 엔드 훈련하면, 두 단계 파이프라인에 비해 테이블 QA 성능 향상이 가능한가?
• RQ2 테이블 QA에서 DPR와 RAG의 통합은 검색에서 생성으로의 오류 전파를 줄이는가?
• RQ3 통합된 훈련 프로세스는 엔드 투 엔드 테이블 QA 및 테이블 검색 작업 모두에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 소프트 하드 음성 마이닝은 테이블 QA의 검색 정확도 향상에 얼마나 효과적인가?
• RQ5 수치적 추론이 필요한 질문 유형은 여전히 모델에게 어려운가?

주요 결과

• exttt{\projName}은 NQ-TABLES에서 테스트 세트 F1 스코어 50.92를 기록하여 이전 최신 기준 모델(T-RAG)보다 3.22점 높다.
• E2E_WTQ에서 \texttt{\projName}은 Hit@1 정확도 50.65%를 달성하여 CLTR 모델 대비 4.1% 향상되었다.
• 테이블 검색에서 \texttt{\projName}은 NQ-TABLES에서 R@1이 46.07로, DTR 모델을 3.65점 초월했다.
• NQ-TABLES에서 R@10은 85.40으로 상승하여 DTR 기준선 대비 4.27점 향상되었다.
• k=3 소프트 하드 음성 샘플을 k=1보다 사용할 경우, E2E_WTQ에서 Hit@1 정확도가 27.17%p 절대적으로 향상되었다.
• 오류의 21% 이상이 수치적 값이 포함된 질문에 기인하여, 현재 모델의 핵심 과제임을 시사한다.