[논문 리뷰] Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder

Fangyu Lei, Shizhu He외 3명|arXiv (Cornell University)|2022. 09. 16.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 표-텍스트 하이브리드 콘텐츠에서 수치 추론 질문에 답하기 위한 그래프 기반 인코더와 트리 기반 디코더 모델인 RegHNT을 제안한다. 질문-표-텍스트 정렬을 포괄하는 관계 기반 그래프를 통해 다모달 이해를 향상시키고, 표현 트리를 종단 간(end-to-end)으로 생성함으로써 TAT-QA 벤치마크에서 베이스라인 대비 정확도 점수(EM)가 20.2% 절대 향상되어 최신 기술 수준을 달성한다.

ABSTRACT

In the real-world question answering scenarios, hybrid form combining both tabular and textual contents has attracted more and more attention, among which numerical reasoning problem is one of the most typical and challenging problems. Existing methods usually adopt encoder-decoder framework to represent hybrid contents and generate answers. However, it can not capture the rich relationship among numerical value, table schema, and text information on the encoder side. The decoder uses a simple predefined operator classifier which is not flexible enough to handle numerical reasoning processes with diverse expressions. To address these problems, this paper proposes a extbf{Re}lational extbf{G}raph enhanced extbf{H}ybrid table-text extbf{N}umerical reasoning model with extbf{T}ree decoder ( extbf{RegHNT}). It models the numerical question answering over table-text hybrid contents as an expression tree generation task. Moreover, we propose a novel relational graph modeling method, which models alignment between questions, tables, and paragraphs. We validated our model on the publicly available table-text hybrid QA benchmark (TAT-QA). The proposed RegHNT significantly outperform the baseline model and achieve state-of-the-art results. We openly released the source code and data at https://github.com/lfy79001/RegHNT (2022-05-05).

연구 동기 및 목표

• 기존 방법이 다모달 관계를 포착하지 못하고 복잡한 산술 연산을 다룰 유연성이 부족한 표-텍스트 하이브리드 질의응답에서 수치 추론의 과제를 해결한다.
• 일반화 능력에 제약을 주고 다중 소스 추론에 어려움을 겪는 사전 정의된 연산자 분류기나 순서 태깅 프레임워크의 한계를 극복한다.
• 이종 관계 그래프를 통해 표, 텍스트, 질문을 동시에 모델링하여 일반화 능력과 정확도를 향상시킨다.
• 사전 정의된 연산자 슬롯이나 연산자 예측에 의존하지 않고 임의의 유도 형식을 지원하기 위해 종단 간 수치 표현 트리를 직접 생성한다.
• 구조화된 표와 비구조화된 텍스트에서 온 정보를 효과적으로 융합하는 통합 프레임워크를 개발하여 복잡한 수치 추론 질의응답을 지원한다.

제안 방법

• 질문, 표 셀, 문단 토큰 등 서로 다른 노드 유형과 내모달 내부 관계 및 이모달 간 관계 유형을 포함하는 이종 그래프를 구성하여 질문, 표, 텍스트 간 정렬을 모델링한다.
• 내모달 및 다모달 의존성을 모두 포착하는 관계 인식 자기주의 어텐션 메커니즘을 적용하여 질문, 표, 문단의 공동 표현을 학습한다.
• 표현 트리를 직접 생성하는 트리 기반 디코더를 설계하여 사전 정의된 연산자 슬롯에 의존하지 않고도 구조적이고 민감한 수치 답변 유도를 가능하게 한다.
• 최종 표현을 모호성 없는 전위 표현으로 변환하여 추론 경로의 정확성과 해석 가능성 보장을 보장한다.
• 수열에서 트리로의 생성 목표를 사용해 종단 간으로 모델을 훈련하며, 수치 표현의 정확 일치 및 F1 점수 최적화를 목표로 한다.
• 관계 기반 그래프를 활용해 디코더가 표와 텍스트 양쪽에서 관련 노드를 선택하도록 유도하여 단일 데이터 소스에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 관계 기반 그래프가 질문, 표, 텍스트 간 정렬을 효과적으로 모델링하여 수치 추론에서 다모달 이해를 향상시키는가?
• RQ2 트리 기반 디코더가 하이브리드 QA에서 복잡한 산술 표현을 생성할 때 순서 태깅이나 슬롯 채우기 접근 방식보다 우월한가?
• RQ3 표와 텍스트를 동시에 모델링하는 것이 단모달 또는 약한 정렬 방법에 비해 수치 추론 과제 성능 향상에 어느 정도 기여하는가?
• RQ4 사전 정의된 연산자 분류에 의존하지 않고도 새로운 산술 연산에 일반화할 수 있는가?
• RQ5 이전 모델이 실패하는 경우, 표와 텍스트에서 수치 값을 통합해야 하는 질문을 어떻게 처리하는가?

주요 결과

• RegHNT는 TAT-QA 벤치마크에서 베이스라인 모델 대비 정확도 점수(EM)가 20.2% 절대 향상되었다.
• 모델은 베이스라인 대비 F1 점수를 20.0% 향상시켜 추론 정확도 향상이 뚜렷하게 나타났다.
• 사례 연구에서 RegHNT는 이전 모델이 연산자 제한으로 인해 생성할 수 없었던 복잡한 산술 표현 '109.7 / (0.41 × 278.29)'를 성공적으로 생성하였다.
• 표에 대한 과도한 의존도를 줄이기 위해 표와 텍스트에서 정보를 효과적으로 통합함으로써 오류를 감소시켰으며, 특히 두 소스에서 값이 필요한 경우에 유의미한 성능 향상을 보였다.
• 관계 기반 그래프 인코더는 특히 다원소 수치 유도가 필요한 질문에서 이모달 간 관계를 모델링함으로써 성능을 크게 향상시켰다.
• 트리 기반 디코더는 사전 정의된 연산자 슬롯이 없이도 민감한 표현 생성이 가능하게 하여 연산자 예측 모듈에서 발생하는 오류 전파를 제거했다.