[論文レビュー] Large Language Models are few(1)-shot Table Reasoners

Wenhu Chen|arXiv (Cornell University)|Oct 13, 2022

Topic Modeling被引用数 7

ひとこと要約

この論文は、GPT-3のような大規模言語モデル（LLMs）が、チェーン・オブ・トゥーク（CoT）プロンプティングを用いたワンショットのコンテキスト内学習のみで、質問応答や事実検証などの複雑なテーブル推論タスクを実行できることを示している。テーブルデータに対する事前学習が行われていないにもかかわらず、LLMsは強力な性能を発揮しており（例：TabFactで78.8%、WikiTableQuestionsで48.8%）、長文生成タスクにおいて微調整済みのT5-largeを上回り、高忠実度の推論チェーンを生成している。

ABSTRACT

Recent literature has shown that large language models (LLMs) are generally excellent few-shot reasoners to solve text reasoning tasks. However, the capability of LLMs on table reasoning tasks is yet to be explored. In this paper, we aim at understanding how well LLMs can perform table-related tasks with few-shot in-context learning. Specifically, we evaluated LLMs on popular table QA and fact verification datasets like WikiTableQuestion, FetaQA, TabFact, and FEVEROUS and found that LLMs are competent at complex reasoning over table structures, though these models are not pre-trained on any table corpus. When combined with `chain of thoughts' prompting, LLMs can achieve very strong performance with only a 1-shot demonstration, even on par with some SoTA models. We show that LLMs are even more competent at generating comprehensive long-form answers on FetaQA than tuned T5-large. We further manually studied the reasoning chains elicited from LLMs and found that these reasoning chains are highly consistent with the underlying semantic form. We believe that LLMs can serve as a simple yet generic baseline for future research. The code and data are released in https://github.com/wenhuchen/TableCoT.

研究の動機と目的

• 大規模言語モデル（LLMs）が、タスク固有の微調整なしに複雑なテーブル推論タスクを実行できるかどうかを調査すること。
• チェーン・オブ・トゥークプロンプティングを用いたFew-shotコンテキスト内学習の、テーブルベースのタスクにおける有効性を評価すること。
• 長文回答生成および事実検証タスクにおいて、LLMsの性能をT5-largeのような微調整済みモデルと比較すること。
• LLMsが生成する推論チェーンの忠実度と一貫性を、正解の意味論的表現と分析すること。
• LLMsが大規模なテーブルや記号的操作に対して推論を行う際の限界を特定すること。

提案手法

• 1つの例を用いたFew-shotコンテキスト内学習を採用し、LLMsがテーブル推論タスクを遂行するのを導く。
• 予測の前に段階的な推論を引き出すために、チェーン・オブ・トゥーク（CoT）プロンプティングを適用する。
• アンサンブルデコーディングを用いて推論の信頼性を向上させるために、自己一貫性（CoT+SC）を用いる。
• 4つのベンチマークデータセット（WikiTableQuestions、FetaQA、TabFact、FEVEROUS）でLLMsを評価する。
• 推論チェーンの忠実度と正しさを評価するために、人的評価を実施する。
• さまざまなテーブルサイズにおけるモデル性能を分析し、スケーラビリティの限界を特定する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、微調整なしにワンショットのコンテキスト内学習のみで、複雑なテーブル推論タスクを実行できるか？
• RQ2 チェーン・オブ・トゥークプロンプティングは、LLMsのテーブルQAおよび事実検証タスクにおける性能にどのように影響するか？
• RQ3 LLMsが生成する推論チェーンは、正解の意味論的表現と比較して、忠実度と正しさの点でどの程度か？
• RQ4 テーブルサイズの影響は、LLMsの推論性能にどのように現れるか？
• RQ5 長文回答生成において、LLMsの性能はT5-largeのような微調整済みモデルと比較してどうか？

主な発見

• LLMsは、チェーン・オブ・トゥークプロンプティングを用いたワンショットのコンテキスト内学習のみで、WikiTableQuestionsで48.8%の正確一致を達成し、TabFactでは78.8%を達成している。
• FetaQAでは、人間評価において、GPT-3が微調整済みT5-largeを30%以上上回り、長文回答の正しさと適切さの両面で優れている。
• LLMsが生成する推論チェーンの約90%がテーブルの内容に忠実であり、10%未満が幻覚を示している。
• 1,000トークンを超えるテーブルではモデルの性能が著しく低下し、ほぼランダムなレベルにまで下がるため、テーブルサイズに非常に敏感であることが示された。
• LLMsは、数え上げ、比較、算術演算などの記号的推論能力を、テーブルの推論において強く示している。
• 小規模〜中規模のテーブルでは優れた性能を発揮しているが、LLMsはトークンのコンテキスト長の制限に縛られ、大規模または決定論的なタスクではまだ記号的手法の代替手段とはなっていない。