[論文レビュー] Towards Zero-Shot and Few-Shot Table Question Answering using GPT-3

Pragya Srivastava, Tanuja Ganu+1 more|arXiv (Cornell University)|Oct 31, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文は、微調整を施さずにGPT-3を用いてゼロショットおよびフェイントショットの表質問応答を検討し、GPT-3がシリアル化されたJSON表現からの表データを理解し、自然言語の質問に応答できることを示している。フェイントショット例を用いたプロンプト工学により、新規の新聞インフォグラフィック表から成るデータセットにおいて、ゼロショット時の73.6%からフェイントショット時の86.8%へと精度が著しく向上した。

ABSTRACT

We present very early results on using GPT-3 to perform question answering on tabular data. We find that stock pre-trained GPT-3 is able to zero-shot learn the table structure from a serialized JSON array-of-arrays representation, and able to answer lookup queries and simple comparison questions in natural language without any fine-tuning. We further find that simple prompt engineering to include few-shot static Q&A examples significantly improves accuracy. Lastly, we find that intermixing passage text improves accuracy even further on heterogeneous data. We apply our approach on a novel dataset of simple tables in newspaper infographics with promising results. Overall, we find much cause for optimism in this basic approach.

研究の動機と目的

• GPT-3が文脈学習の能力を活用することで、微調整なしに表質問応答を実行できるかどうかを調査すること。
• フェイントショット例を用いたプロンプト工学の有効性が、GPT-3の表QAタスクにおけるパフォーマンス向上に与える影響を評価すること。
• 異種のデータソースを含む質問に対するGPT-3の能力に、周囲の本文テキストを混在させた影響を調査すること。
• 今後の表QA研究のため、新聞インフォグラフィックから抽出したシンプルな表の新規データセットを構築および公開すること。
• 視覚障害者やK-6教育を対象としたアクセシブルなデータ解釈の可能性を、GPT-3のような基礎的モデルが果たせるかを評価すること。

提案手法

• 表のシリアル化されたJSON表現、OCRによる得られた非構造的本文テキスト、および自然言語の質問を用いてプロンプトを構築した。
• 微調整を施さずに、事前学習済みのGPT-3を用いて、表QAタスクにおけるゼロショット推論を実行した。
• 同じカテゴリ（例：スポーツ、天気）の関係のないフェイントショットの合成Q&A例をプロンプトに追加することで、プロンプトを強化した。
• 基本的な統計クエリ（最小値、最大値、平均値）を表カラムに対して含めるために、微調整済みのT5モデルを用いて合成Q&Aペアを生成した。
• オブジェクト検出（Faster R-CNN）およびOCR（Azure Form Recognizer）を用いて、新聞インフォグラフィック画像から表および本文テキストを抽出した。
• 微調整済みのRoBERTaを用いて、表をカテゴリ（天気、スポーツ、金融、その他）に分類し、後のプロンプト工学における一貫性を確保した。

実験結果

リサーチクエスチョン

• RQ1 GPT-3は、微調整なしに表データに対してゼロショットの表質問応答を実行できるか？
• RQ2 フェイントショットプロンプトは、GPT-3の表ベースの質問に対する精度をどの程度向上させるか？
• RQ3 周囲の本文テキストを含めることで、GPT-3の異種の表およびテキストQAに対するパフォーマンスにどのような影響を与えるか？
• RQ4 GPT-3のゼロショットパフォーマンスは、TAPASのような微調整済みモデルと比較して、インフォグラフィック表の新規データセット上でどのように異なるか？
• RQ5 合成フェイントショット例は、未学習の表QAタスクにおけるゼロショットパフォーマンスの向上に効果的に一般化できるか？

主な発見

• GPT-3は、微調整なしに12のインフォグラフィック表から成る小規模なテストセットに対して73.6%のゼロショット精度を達成した。
• 合成Q&A例を用いたフェイントショットプロンプトにより、精度は86.8%まで向上し、ゼロショットと微調整済みTAPAS（18.4%）を著しく上回った。
• GPT-3はシリアル化されたJSON入力からの表構造を理解し、検索および比較質問に対して正しく応答する能力を示した。
• 表が非構造的テキスト内に埋め込まれていた場合でも、関連するセルおよび本文テキストを適切に特定して質問に応答できた。
• 表データと本文テキストを交互に配置することで、回答精度が向上した。これは文脈的根拠が推論を強化することを示唆している。
• 強力なゼロショットパフォーマンスにもかかわらず、最小値を誤って特定したり、誤った選手ランク付けをしたりする失敗事例が存在したが、フェイントショットプロンプトによりこれらは解消された。