[論文レビュー] Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder

Fangyu Lei, Shizhu He+3 more|arXiv (Cornell University)|Sep 16, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、表形式とテキストのハイブリッドコンテンツにおける数値推論質問に応じるための、グラフベースのエンコーダーと木構造ベースのデコーダーを組み合わせたRegHNTを提案する。質問・表・テキストの整合性を捉える関係性グラフを活用することで、マルチモーダル理解を強化し、式木をエンドツーエンドで生成することで、TAT-QAベンチマークにおいてベースライン比20.2%の絶対的向上を達成し、最先端の性能を実現した。

ABSTRACT

In the real-world question answering scenarios, hybrid form combining both tabular and textual contents has attracted more and more attention, among which numerical reasoning problem is one of the most typical and challenging problems. Existing methods usually adopt encoder-decoder framework to represent hybrid contents and generate answers. However, it can not capture the rich relationship among numerical value, table schema, and text information on the encoder side. The decoder uses a simple predefined operator classifier which is not flexible enough to handle numerical reasoning processes with diverse expressions. To address these problems, this paper proposes a extbf{Re}lational extbf{G}raph enhanced extbf{H}ybrid table-text extbf{N}umerical reasoning model with extbf{T}ree decoder ( extbf{RegHNT}). It models the numerical question answering over table-text hybrid contents as an expression tree generation task. Moreover, we propose a novel relational graph modeling method, which models alignment between questions, tables, and paragraphs. We validated our model on the publicly available table-text hybrid QA benchmark (TAT-QA). The proposed RegHNT significantly outperform the baseline model and achieve state-of-the-art results. We openly released the source code and data at https://github.com/lfy79001/RegHNT (2022-05-05).

研究の動機と目的

• 既存の手法がマルチモーダルな関係性を捉えられず、複雑な算術計算を扱う柔軟性に欠けることによる、表形式とテキストのハイブリッドQAにおける数値推論の課題に対処する。
• 一般化性に制限があり、マルチソース推論に苦労する、事前定義された演算子分類器やシーケンスタギングフレームワークの限界を克服する。
• 階層的関係性グラフを用いて、表、テキスト、質問を同時にモデリングすることで、モデルの一般化性と正確性を向上させる。
• スロットフィリングや演算子予測に依存せずに、任意の導出形式をサポートするため、算術式木をエンドツーエンドで生成可能にする。
• 構造化された表と非構造化されたテキストからの情報を有効に統合する統一フレームワークを構築し、複雑な数値推論QAを実現する。

提案手法

• 質問、表セル、段落トークンといった異なるノードタイプと、モダリティ内関係（intra-relation）およびモダリティ間関係（inter-relation）の関係タイプを持つ、異種グラフを構築し、質問・表・テキスト間の整合性をモデリングする。
• 関係性に配慮した自己注意機構を適用し、モダリティ内およびマルチモーダルな依存関係を捉えることで、質問・表・段落の共同表現を学習する。
• 直接的に式木を生成する木構造ベースのデコーダーを設計し、事前定義された演算子スロットに依存せずに、柔軟かつ構造的な数値的回答の導出を可能にする。
• 最終的な式を一意に評価可能な前置記法に変換することで、推論経路の正しさと解釈可能性を保証する。
• シーケンスから木への生成タスクを最適化するエンドツーエンド学習を実施し、算術式の正確一致（exact match）とF1スコアを向上させる。
• 関係性グラフを活用して、デコーダーが表とテキストの両方から関連するノードを選択できるようにし、単一のデータソースへの過剰な依存を低減する。

実験結果

リサーチクエスチョン

• RQ1 関係性グラフは、質問・表・テキスト間の整合性を効果的にモデリングし、数値推論におけるマルチモーダル理解を向上させることができるか？
• RQ2 木構造ベースのデコーダーは、シーケンスタギングやスロットフィリングアプローチに比べて、ハイブリッドQAの複雑な算術式生成において優れているか？
• RQ3 表とテキストの統合的モデリングは、単モーダルまたは弱い整合性を持つ手法に比べて、数値推論タスクのパフォーマンスにどの程度寄与するか？
• RQ4 事前定義された演算子分類に依存せずに、未学習の算術演算に対してもモデルは一般化可能か？
• RQ5 表とテキストの両方から数値を統合する必要がある質問に対して、本手法は従来のモデルが失敗する状況でも効果的に対処できるか？

主な発見

• RegHNTは、TAT-QAベンチマークにおいてベースラインモデル比20.2%の絶対的向上を達成し、正確一致（EM）スコアが向上した。
• ベースライン比20.0%のF1スコア向上を達成し、推論の正確性に顕著な向上が見られた。
• 事例研究では、'109.7 / (0.41 × 278.29)'のような複雑な算術式を、従来のモデルが演算子制限のため生成できなかったのに対し、RegHNTは正常に生成できた。
• 表への過剰な依存を低減し、表とテキストの両方からの情報を効果的に統合することで、両方のソースに値が必要なケースで誤りが減少した。
• 関係性グラフエンコーダーは、特に複数のソースからの数値導出を要する質問において、モダリティ間関係をモデル化することでパフォーマンスを顕著に向上させた。
• 木構造ベースのデコーダーは、事前定義された演算子スロットに依存せず、演算子予測モジュールに起因する誤差伝搬を排除する柔軟な式生成を可能にした。