[論文レビュー] BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing

Subhro Roy, Sam Thomson+5 more|arXiv (Cornell University)|Jun 21, 2022

Topic Modeling被引用数 7

ひとこと要約

BenchCLAMP は、文脈自由文法を用いた制約付きデコードを用いて構文的・意味的構文解析のための言語モデルの評価を目的としたベンチマークである。8つのモデルにおける信頼性の高い性能比較を可能にし、特にリソースが限られた状況下でも、微調整を施したエンコーダ・デコーダモデルが制約付きデコードを用いることで最先端の結果を達成していることが示された。

ABSTRACT

Recent work has shown that generation from a prompted or fine-tuned language model can perform well at semantic parsing when the output is constrained to be a valid semantic representation. We introduce BenchCLAMP, a Benchmark to evaluate Constrained LAnguage Model Parsing, that includes context-free grammars for seven semantic parsing datasets and two syntactic parsing datasets with varied output representations, as well as a constrained decoding interface to generate only valid outputs covered by these grammars. We provide low, medium, and high resource splits for each dataset, allowing accurate comparison of various language models under different data regimes. Our benchmark supports evaluation of language models using prompt-based learning as well as fine-tuning. We benchmark eight language models, including two GPT-3 variants available only through an API. Our experiments show that encoder-decoder pretrained language models can achieve similar performance or surpass state-of-the-art methods for syntactic and semantic parsing when the model output is constrained to be valid.

研究の動機と目的

• 構文解析のような構造予測タスクにおける言語モデルの評価に標準化された基準が不足しているという問題に対処すること。
• 再利用可能な文法と制約付きデコードインターフェースを提供することで、開発者が構文解析のための言語モデルの評価にかかる障壁を低減すること。
• 異なるデータ体制にある多様な構文解析データセットにおいて、プロンプトベース学習と微調整の間で性能を比較すること。
• 制約付きデコード、文脈符号化、プロンプト工学の影響が構文解析の正確性に与える影響を調査すること。
• 有効な出力を生成する文法的・意味的構文解析に適した言語モデルの使用におけるベストプラクティスを確立すること。

提案手法

• 7つの意味的構文解析と2つの構文的構文解析タスクをカバーする9つの構文解析データセットを含むベンチマークを設計し、有効な出力生成のための文脈自由文法を提供する。
• 各データセットに対してリソースが少ない、中程度、多いスプリットを提供し、異なるデータ体制下での性能評価を可能にする。
• 提供された文脈自由文法を用いて、文法的に有効な出力のみを生成する制約付きデコードインターフェースを実装する。
• 自動回帰モデルおよびシーケンス・トゥ・シーケンス・モデルのデコードパイプラインに文法を統合することで、プロンプトベース学習と微調整の両方をサポートする。
• BM25 および文書埋め込み（例：SentenceT5-xxl）を用いたリtrieバルベースのプロンプト工学により、少数の例を用いたプロンプト処理の性能を向上させる。
• 意味的および構文的構文解析タスクのタスク固有の指標（例：LISPRESS一致精度、正確一致）を用いてモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈自由文法を用いた制約付きデコードは、異なる言語モデルおよびデータ体制下で構文解析の性能をどのように向上させるか？
• RQ2 特にリソースが限られた状況下で、少数の例を用いたプロンプト処理と微調整の相対的な影響は何か？
• RQ3 例の順序付けや文脈の含め方といった、異なるプロンプト工学戦略が、少数の例を用いたモデル性能にどのように影響するか？
• RQ4 ランダム選択やヒューリスティック選択と比較して、リtrieバルベースのプロンプト選択法は、少数の例を用いたプロンプト処理の正確性をどの程度向上させるか？
• RQ5 部分的な学習データからの文法誘導は、リソースが限られた状況下での制約付きデコード性能にどのように影響するか？

主な発見

• T5 や BART といった微調整済みエンコーダ・デコーダモデルは、制約付きデコードを適用することで、すべての構文解析データセットで最先端の手法と同等またはそれ以上の性能を達成している。
• 制約付きデコードは、リソースが限られた状況下で最も大きな性能向上をもたらし、制約なしの生成と比較して最大5〜7%の向上が見られた。
• 少数の例を用いたプロンプト処理モデルでは、制約付きデコードが不可欠である。特に構文木解析や従属構文解析のような複雑なタスクでは、制約なしでは有効な解析を生成できない。
• 生成ヘッドに最も関連の高い例を近接して配置するプロンプト工学は、特にデータが少ない状況下で少数の例を用いた性能を向上させる。
• SentenceT5-xxl は BM25 や他の文書埋め込みモデルを上回り、リソースが限られた状況下で SMCalFlow で39.3%の正確性を達成した。
• 全学習データから誘導された文法を用いることで、リソースが限られたスプリットから誘導された文法を用いる場合よりもわずかに高い性能が得られ、リソースが限られた状況下でスプリット固有の文法を用いる際には1〜2%の精度低下が生じた。