[논문 리뷰] Reasoning over Hybrid Chain for Table-and-Text Open Domain QA

Wanjun Zhong, Junjie Huang외 5명|arXiv (Cornell University)|2022. 01. 15.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 테이블과 텍스트 기반의 오픈 도메인 질의 응답을 위한 체인 중심의 추론 및 미사전학습 프레임워크인 CARP를 제안한다. 이는 중간 추론을 테이블과 텍스트를 연결하는 하이브리드 체인으로 모델링하고, 합성된 추론 경로를 기반으로 한 새로운 체인 중심의 미사전학습 방법을 통해 추론 능력을 향상시키며, OTT-QA에서 최신 기술 수준의 성능을 달성하면서 복잡한 추론 작업에서 해석 가능성과 내구성도 향상시킨다.

ABSTRACT

Tabular and textual question answering requires systems to perform reasoning over heterogeneous information, considering table structure, and the connections among table and text. In this paper, we propose a ChAin-centric Reasoning and Pre-training framework (CARP). CARP utilizes hybrid chain to model the explicit intermediate reasoning process across table and text for question answering. We also propose a novel chain-centric pre-training method, to enhance the pre-trained model in identifying the cross-modality reasoning process and alleviating the data sparsity problem. This method constructs the large-scale reasoning corpus by synthesizing pseudo heterogeneous reasoning paths from Wikipedia and generating corresponding questions. We evaluate our system on OTT-QA, a large-scale table-and-text open-domain question answering benchmark, and our system achieves the state-of-the-art performance. Further analyses illustrate that the explicit hybrid chain offers substantial performance improvement and interpretablity of the intermediate reasoning process, and the chain-centric pre-training boosts the performance on the chain extraction.

연구 동기 및 목표

• 다양한 지식 소스—구조화된 테이블과 비구조화된 텍스트—에서의 추론 문제를 해결하기 위해 오픈 도메인 질의 응답에서의 도전 과제를 다루는 것.
• 테이블과 텍스트 간의 중간 추론 단계를 명시적으로 모델링하여 블랙박스 추론 모델의 한계를 극복하는 것.
• 위키피디아에서 생성된 대규모 가짜 이질적 추론 경로를 통해 추론 주석의 데이터 희소성 문제를 줄이는 것.
• 체인 추출과 다중 모odal 추론에 초점을 맞춘 새로운 미사전학습 방법을 통해 모델의 일반화 능력과 추론 능력을 향상시키는 것.
• 추론 과정을 명시적이고 추적 가능한 방식으로 만들어 해석 가능성과 질의 응답 시스템의 성능을 향상시키는 것.

제안 방법

• 검색된 테이블과 문단에서 정보 조각을 노드로, 구조적 및 의미적 연결을 엣지로 가지는 이질적 그래프를 구축하는 것.
• Transformer 기반 모델을 사용해 그래프에서 가장 타당한 하이브리드 추론 체인을 추출하여 답변에 이르는 단계별 경로를 표현하는 것.
• 위키피디아 테이블과 문단에서 자동으로 대규모 추론 경로를 합성하는 체인 중심의 미사전학습 방법을 설계하는 것.
• 합성된 추론 경로에서 다단계 질문을 생성하여 모델이 다중 모달 추론 패턴을 사전 학습할 수 있도록 하는 것.
• 합성된 추론 코퍼스를 사용해 추론 체인 추출 및 질의 응답 헤드를 동시에 미세조정하여 추론의 추적 가능성과 정답 정확도를 모두 향상시키는 것.
• 테이블의 명확한 구조와 테이블 및 텍스트 간의 연결을 활용하여 복잡한 다단계 추론 경로를 자동으로 구성하는 것.

실험 결과

연구 질문

• RQ1 명시적인 하이브리드 추론 체인은 테이블-텍스트 오픈 도메인 질의 응답의 성능과 해석 가능성에 향상 효과를 줄 수 있는가?
• RQ2 사람이 주석을 달지 않은 추론 체인 없이도 체인 중심의 미사전학습 방법이 모델의 추론 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 합성된 추론 코퍼스는 복잡한 다단계 추론 질문에 대한 일반화 능력을 어느 정도 향상시키는가?
• RQ4 엔드 투 엔드 방법과 비교해 하이브리드 체인 메커니즘이 중복된 테이블 및 문단 콘텐츠에서 유발되는 노이즈를 줄이는가?
• RQ5 수치 비교나 순차적 논리와 관련된 어려운 추론 패턴에 대해 이 프레임워크는 어떻게 성능을 내는가?

주요 결과

• 제안된 CARP 프레임워크는 OTT-QA 벤치마크에서 최신 기술 수준의 성능을 달성하여 기존 방법들을 압도한다.
• 체인 중심의 미사전학습 방법은 특히 복잡한 다단계 추론 질문에서 하이브리드 체인 추출 모델의 성능을 크게 향상시킨다.
• 명시적인 하이브리드 체인은 다수의 정보 소스를 걸쳐 추론이 필요한 질문에서 모델 성능 향상에 상당한 기여를 한다.
• 미사전학습 단계에서 합성된 추론 경로를 사용함으로써 인간 주석 기반 추론 체인과 관련된 데이터 희소성 문제를 효과적으로 완화할 수 있다.
• 하이브리드 체인 메커니즘은 중간 추론 단계를 추적 가능하고 설명 가능하게 만들어 모델의 해석 가능성을 향상시킨다.
• 오류 분석 결과 주요 실패 원인은 노이즈가 많은 검색 블록과 복잡한 수치 비교 처리의 어려움에서 기인하며, 이는 검색 신뢰도 향상과 수치 추론 능력 향상에 대한 개선 여지를 시사한다.