[論文レビュー] Compositional Semantic Parsing with Large Language Models

Andrew Drozdov, Nathanael Schärli+6 more|arXiv (Cornell University)|Sep 29, 2022

Natural Language Processing Techniques被引用数 39

ひとこと要約

本論文は LM ベースの統語解析と動的エグザンプル選択を用いた動的な最小から最大へ順次プロンプティングを提案し、CFQ での組成的一般化を最先端に達成（平均 95.0%）し、COGS でも強力な結果（99.2%）を、約1% の学習データを用いて達成した。

ABSTRACT

Humans can reason compositionally when presented with new tasks. Previous research shows that appropriate prompting techniques enable large language models (LLMs) to solve artificial compositional generalization tasks such as SCAN. In this work, we identify additional challenges in more realistic semantic parsing tasks with larger vocabulary and refine these prompting techniques to address them. Our best method is based on least-to-most prompting: it decomposes the problem using prompting-based syntactic parsing, then uses this decomposition to select appropriate exemplars and to sequentially generate the semantic parse. This method allows us to set a new state of the art for CFQ while requiring only 1% of the training data used by traditional approaches. Due to the general nature of our approach, we expect similar efforts will lead to new results in other tasks and domains, especially for knowledge-intensive applications.

研究の動機と目的

• 実世界の意味解析ベンチマーク CFQ および COGS における組成的一般化に対処する。
• より大きな語彙と複雑な文法に対応するため、least-to-most prompting を適応・拡張する。
• 高い精度を維持しつつ学習データ要件を削減する。
• 構文分解に導かれた動的エグザンプル選択戦略を開発する。

提案手法

• LM 予測の統語解析によって入力を木構造へ分解する動的な最小から最大へ順次プロンプティング。
• 分解木を覆う小さなエグザンプルプールを、トップダウンとボトムアップの一致に基づいて動的に選択する。
• 分解木を線形化して、最終出力前にサブ問題を解くようモデルに促すことで、サブ問題解の逐次生成を行う。
• 効果とデータ効率を評価するため、チェーンオブソート prompting および完全監視ベースのベースラインと比較する。
• LMのバックボーンとして Codex (code-davinci-002) を用い、複数プロンプトで自己整合性を用いた貪欲デコードを行う。

実験結果

リサーチクエスチョン

• RQ1 動的な最小から最大へ順次プロンプティングは、CFQ や COGS のような現実的な意味解析タスクへ組成的一般化を拡張できるか？
• RQ2 構文分解と動的エグザンプル選択を、巨大な語彙や文脈依存の翻訳に対処できるようにどのように設計できるか？
• RQ3 提案手法は、完全監視ファインチューニングおよびチェーン・オブ・ソート prompting と比べて、精度とデータ効率はどうか？

主な発見

MCD1	MCD2	MCD3	平均
94.3	95.3	95.5	95.0

• CFQ では、動的な least-to-most は MCD 分割全体で平均 95.0% の精度を、約 1% の学習データで達成し、新しい最先端を設定した。
• CFQ の改善は、従来の最高結果に比べて誤差率を約 45%削減したに相当する。
• COGS では、一般化テストセットで約 0.4% の学習データを用いて 99.2% の精度を達成した。
• エグザンプルプールサイズの頑健性を示しています。小さなプール（例: データの0.1%未満）でも手法は競争力を維持します。
• 実験では、動的最小から最大へは、標準的な few-shot および chain-of-thought prompting を上回り、自己整合性を用いた場合 chain-of-thought の約2倍の速さであると報告されている。