[논문 리뷰] PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance

Yang Deng, Wenqiang Lei외 3명|arXiv (Cornell University)|2022. 10. 17.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 하이브리드 표 형태 및 텍스트 데이터에 대한 재무 QA를 위한 새로운 데이터셋과 과제인 Proactive Conversational Question Answering (PCQA)를 소개한다. PACIFIC는 수치적 추론을 코드 생성으로 재정의하고, 공통 투표를 통한 다중 작업 학습을 활용하여 명확화 질문 생성, 모호성 탐지, 답변 생성 성능을 향상시키는 통합 시퀀스-투-시퀀스 프레임워크인 UniPCQA를 제안한다. 이는 재무 분야에서 사전적이고 추론 중심인 CQA의 과제를 입증한다.

ABSTRACT

To facilitate conversational question answering (CQA) over hybrid contexts in finance, we present a new dataset, named PACIFIC. Compared with existing CQA datasets, PACIFIC exhibits three key features: (i) proactivity, (ii) numerical reasoning, and (iii) hybrid context of tables and text. A new task is defined accordingly to study Proactive Conversational Question Answering (PCQA), which combines clarification question generation and CQA. In addition, we propose a novel method, namely UniPCQA, to adapt a hybrid format of input and output content in PCQA into the Seq2Seq problem, including the reformulation of the numerical reasoning process as code generation. UniPCQA performs multi-task learning over all sub-tasks in PCQA and incorporates a simple ensemble strategy to alleviate the error propagation issue in the multi-task learning by cross-validating top-$k$ sampled Seq2Seq outputs. We benchmark the PACIFIC dataset with extensive baselines and provide comprehensive evaluations on each sub-task of PCQA.

연구 동기 및 목표

• 모호한 질의를 다루고 수치적 추론이 필요한 사전적 다단계 재무 QA 시스템의 부족을 해결하기 위해.
• 하이브리드 컨텍스트(표와 텍스트)를 지원하고 사전적 명확화 및 복잡한 수치적 추론을 포함하는 새로운 벤치마크 데이터셋 PACIFIC를 개발하기 위해.
• 사전적 대화형 질문 답변(Proactive Conversational Question Answering, PCQA)을 통합 과제로 정의하고 수식화하기 위해.
• 모호성 탐지, 명확화 질문 생성, 답변 생성을 동시에 모델링하는 통합 Seq2Seq 프레임워크 UniPCQA를 제안하기 위해.
• 하이브리드 입력/출력 형식과 수치적 추론이 재무 CQA에서 어떻게 작용하는지에 대한 종합적인 추론 분석과 오류 분석을 통해 과제를 평가하기 위해.

제안 방법

• 재무 QA에서의 수치적 추론을 코드 생성으로 재정의하여 산술 연산과 엔터티 참조를 실행 가능한 파이썬 코드로 인코딩한다.
• 표 형태 데이터, 텍스트 컨텍스트, 사용자 질의를 하나의 시퀀스로 통합하는 통합 입력 표현을 설계하여 Seq2Seq 모델링에 활용한다.
• 세 가지 응답 유형을 지원하는 통합 출력 형식을 정의한다: 모호성 예측, 명확화 질문, 직접 답변.
• 모호성 탐지, CQG, CQA 등의 PCQA 하위 과제를 하나의 Seq2Seq 모델 내에서 다중 작업 학습으로 통합하여 표현을 공유한다.
• 상위-k 생성 출력을 상호 검증하는 공통 투표 앙상블 전략을 적용하여 다중 작업 학습에서의 오류 전파를 줄인다.
• 다양한 입력 모odalities와 추론 유형을 다룰 수 있도록 하이브리드 PACIFIC 데이터셋으로 미세조정된 사전 학습된 언어 모델을 사용한다.

실험 결과

연구 질문

• RQ1 통합 Seq2Seq 프레임워크는 재무 대화형 QA에서 모호성 탐지, 명확화 질문 생성, 답변 생성을 얼마나 효과적으로 처리하는가?
• RQ2 수치적 추론을 코드 생성으로 재정의함으로써 복잡한 산술 연산을 포함한 재무 QA 과제에서 성능이 얼마나 향상되는가?
• RQ3 공유 표현을 활용한 다중 작업 학습이 사전적 CQA의 여러 하위 과제에서 성능 향상에 기여하는가?
• RQ4 공통 투표 앙상블 전략은 다중 작업 Seq2Seq 모델에서 오류 전파를 어떻게 완화하는가?
• RQ5 현재 모델이 하이브리드 표 형태 및 텍스트 재무 컨텍스트를 처리할 때 주로 발생하는 실패 유형과 오류 패tern은 무엇인가?

주요 결과

• PACIFIC 데이터셋은 최신 기술 모델들조차도 인간 성능에 미치지 못할 정도로 도전적인 과제를 제시하며, 향후 연구에 여지를 남긴다.
• 오류 분석 결과, 25%의 오류가 명확화 질문 생성과 관련이 있었고, 13%는 수치 계산 오류였으며, 이는 주요 실패 유형임을 시사한다.
• 이전 모델 대비 스파닝 추출 관련 오류 비율이 84%에서 46%로 감소하여 추론 일반화 능력 향상을 나타낸다.
• 제안된 UniPCQA 모델은 모든 하위 과제에서 뛰어난 성능을 달성하여 통합 모델링과 코드 기반 추론의 효과성을 입증한다.
• 공통 투표 전략은 상위-k 생성 출력을 상호 검증함으로써 다중 작업 학습에서의 오류 전파를 줄여 강건성을 향상시킨다.
• 데이터셋과 코드는 https://github.com/dengyang17/PACIFIC/ 에 공개되어 재현성과 향후 벤치마크에 기여한다.