[論文レビュー] PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance

Yang Deng, Wenqiang Lei+3 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、ハイブリッドな表形式およびテキスト形式のデータを対象とした金融QAのための新しいデータセットおよびタスク、Proactive Conversational Question Answering (PCQA)を紹介する。PACIFICと呼ばれる新しいデータセットを提案し、数値的推論をコード生成に再定式化し、一貫性のあるマルチタスク学習とコンSENSUS投票を用いて、明確でない質問の検出、明確化質問の生成、回答生成のパフォーマンスを向上させる統合的シーケンス・トゥ・シーケンスフレームワークUniPCQAを提案する。金融分野における能動的で推論を要するCQAの課題を示している。

ABSTRACT

To facilitate conversational question answering (CQA) over hybrid contexts in finance, we present a new dataset, named PACIFIC. Compared with existing CQA datasets, PACIFIC exhibits three key features: (i) proactivity, (ii) numerical reasoning, and (iii) hybrid context of tables and text. A new task is defined accordingly to study Proactive Conversational Question Answering (PCQA), which combines clarification question generation and CQA. In addition, we propose a novel method, namely UniPCQA, to adapt a hybrid format of input and output content in PCQA into the Seq2Seq problem, including the reformulation of the numerical reasoning process as code generation. UniPCQA performs multi-task learning over all sub-tasks in PCQA and incorporates a simple ensemble strategy to alleviate the error propagation issue in the multi-task learning by cross-validating top-$k$ sampled Seq2Seq outputs. We benchmark the PACIFIC dataset with extensive baselines and provide comprehensive evaluations on each sub-task of PCQA.

研究の動機と目的

• 曖昧なクエリを扱い、数値的推論を要する能動的でマルチターンの金融QAシステムの不足を補う。
• ハイブリッドな文脈（表形式とテキスト）をサポートし、能動的な明確化と複雑な数値的推論を含む、新しいベンチマークデータセットPACIFICの開発。
• Proactive Conversational Question Answering (PCQA)を統合的タスクとして定義・形式化し、明確化質問生成と対話型QAを統合する。
• 一貫性のあるSeq2SeqフレームワークであるUniPCQAを提案し、曖昧性検出、明確化質問生成、回答生成を統合的にモデル化する。
• 包括的なアブレーションおよびエラー解析を通じて、ハイブリッドな入出力フォーマットと数値的推論が金融分野のCQAにおいて引き起こす課題を評価する。

提案手法

• 金融QAにおける数値的推論を、算術演算およびエンティティ参照を含む実行可能なPythonコードに変換することで、コード生成に再定式化する。
• 表形式データ、テキスト的文脈、ユーザークエリを統合した一貫性のある入力表現を設計し、Seq2Seqモデリングに適した形式とする。
• 曖昧性予測、明確化質問、直接的回答の3つの応答タイプをサポートする統合的出力フォーマットを定義する。
• すべてのPCQAサブタスク（曖昧性検出、CQG、CQA）を統合した1つのSeq2Seqモデル内でマルチタスク学習を実装し、表現を共有する。
• 上位k個の出力を相互に検証するコンセンサス投票アンサンブル戦略を適用し、マルチタスク学習における誤り伝搬を低減する。
• 多様な入力モalityおよび推論タイプに対応するため、ハイブリッドなPACIFICデータセットで微調整された事前学習言語モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 統合的Seq2Seqフレームワークは、金融分野の対話型QAにおける曖昧性検出、明確化質問生成、回答生成のタスクをどれほど効果的に処理できるか？
• RQ2 数値的推論をコード生成に再定式化することで、複雑な算術演算を伴う金融QAタスクのパフォーマンスがどの程度向上するか？
• RQ3 共有表現を用いたマルチタスク学習は、能動的CQAにおける複数のサブタスクのパフォーマンス向上に寄与するか？
• RQ4 コンセンサス投票アンサンブル戦略は、PCQAのマルチタスクSeq2Seqモデルにおける誤り伝搬をどの程度軽減できるか？
• RQ5 現在のモデルがハイブリッドな表形式およびテキスト形式の金融文脈を処理する際の主な失敗モードとエラーのパターンは何か？

主な発見

• PACIFICデータセットは、最先端モデルですら人間のパフォーマンスに達しないほど大きな挑戦を提示しており、今後の研究の余地があることを示している。
• エラー解析の結果、25%のエラーが明確化質問生成関連、13%が数値計算関連であり、主な失敗モードが特定された。
• スパン抽出関連エラーの割合は、従来のモデルと比較して84%から46%に減少し、推論一般化能力の向上が示された。
• 提案されたUniPCQAモデルは、すべてのサブタスクで優れたパフォーマンスを達成しており、統合的モデリングとコードベース推論の有効性を示している。
• コンセンサス投票戦略により、上位k個の出力を相互に検証することで、マルチタスク学習における誤り伝搬が低減され、モデルのロバスト性が向上した。
• データセットおよびコードは https://github.com/dengyang17/PACIFIC/ で公開されており、再現性と今後のベンチマークに貢献できる。