[論文レビュー] GraphOTTER: Evolving LLM-based Graph Reasoning for Complex Table Question Answering

Qianlong Li, Chen Huang+4 more|arXiv (Cornell University)|Dec 2, 2024

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

GraphOTTERは、複雑なテーブルを無向グラフに変換し、VisitNode、GetSharedNeighbours、AnswerQuestionなどの明示的で段階的な推論アクションを用いて、LLMが不要な情報をフィルタリングし、正確に答えを特定できるように導く、グラフベースの推論フレームワークを提案する。2つのベンチマークデータセットにおいて、2つのLLMバックボーンを用いて、最良のベースライン比で平均4.77%の向上を達成した。

ABSTRACT

Complex Table Question Answering involves providing accurate answers to specific questions based on intricate tables that exhibit complex layouts and flexible header locations. Despite considerable progress having been made in the LLM era, the reasoning processes of existing methods are often implicit, feeding the entire table into prompts, making it difficult to effectively filter out irrelevant information in the table. To this end, we propose GraphOTTER that explicitly establishes the reasoning process to pinpoint the correct answers. In particular, GraphOTTER leverages a graph-based representation, transforming the complex table into an undirected graph. It then conducts step-by-step reasoning on the graph, with each step guided by a set of pre-defined intermediate reasoning actions. As such, it constructs a clear reasoning path and effectively identifies the answer to a given question. Comprehensive experiments on two benchmark datasets and two LLM backbones demonstrate the effectiveness of GraphOTTER. Further analysis indicates that its success may be attributed to the ability to efficiently filter out irrelevant information, thereby focusing the reasoning process on the most pertinent data. Our code and experimental datasets are available at \url{https://github.com/JDing0521/GraphOTTER}.

研究の動機と目的

• 既存のLLMベースのアプローチが、不要なコンテンツをフィルタリングせずに全テーブルを処理するための暗黙的な推論の課題に対処すること。
• マージドセルや柔軟なヘッダーを備えた複雑なテーブルのグラフ表現を明示的にモデル化することで、推論経路を設計し、回答の正確性を向上させること。
• 全テーブルのプロンプトに依存するのを減らすために、関連するセルに導く構造的で段階的な推論アクションを導入すること。
• 訪問済みノードと共有ノードを追跡する動的推論トレースを維持することで、より透明で追跡可能で効率的な推論を実現すること。
• ベンチマークデータセットを用いた包括的な評価を通じて、複雑なテーブルQAにおけるグラフベース推論の有効性を示すこと。

提案手法

• ヘッダーとデータセルをノードとして表現する無向グラフに、複雑なテーブルを変換し、意味的および空間的関係を保持すること。
• LLMがグラフの構造的ナビゲーションをガイドするための事前定義された中間推論アクションのセット（VisitNode、GetSharedNeighbours、AnswerQuestion）を導入すること。
• 訪問済みノードと共有ノードを記録する動的推論トレースを維持し、重複または不適切なパスを回避すること。
• 現在のテーブル内容、推論トレース、インタラクション履歴を統合したプロンプト工学戦略を用い、各推論ステップをガイドすること。
• 出力形式の一貫性を保証するためのJSONスキーマを用いて回答生成を行うこと。出力にはセル、操作、説明、最終的な回答が含まれる。
• 2つのLLMバックボーンをサポートし、2つのベンチマークデータセットで評価することで、汎用性と頑健性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 複雑なテーブルのグラフ構造表現上で明示的で段階的な推論が、テーブル質問応答における回答の正確性を向上させるか？
• RQ2 エンドツーエンドプロンプティングと比較して、グラフベース推論は、不要なテーブルコンテンツの影響をどの程度低減するか？
• RQ3 推論トレースメカニズムは、冗長または誤ったパスを避ける一方で、関連するセルにLLMを効果的に導くのにどの程度有効か？
• RQ4 構造的推論アクション（例：GetSharedNeighbours）の使用が、複雑なテーブルQAベンチマークで測定可能なパフォーマンス向上をもたらすか？
• RQ5 GraphOTTERは、マージドセルや非標準的なヘッダーを有する異なるLLMバックボーンおよび複雑なテーブルレイアウトに一般化可能か？

主な発見

• GraphOTTERは、2つのベンチマークデータセットにおいて、最良のベースライン比で平均4.77%のパフォーマンス向上を達成し、複雑なテーブル質問応答における顕著な改善を示した。
• 明示的な推論プロセスにより、不要な情報の効果的なフィルタリングが可能となり、これがモデルの成功の鍵要因であると特定された。
• 推論トレースメカニズムは、訪問済みノードと共有ノードを効果的に追跡し、グラフ内での一貫性があり焦点を合わせたナビゲーションを可能にした。
• 構造的推論アクションの使用により、暗黙のプロンプティング戦略と比較して、より信頼性が高く解釈可能な推論経路が得られた。
• モデルは2つの異なるLLMバックボーンにおいても強固なパフォーマンスを維持しており、その相互運用性と頑健性を示した。
• アブレーションスタディの結果、グラフ表現と明示的推論コンponentsがモデルのパフォーマンスにおいて極めて重要であり、それらを除去すると顕著な精度低下が生じた。