[論文レビュー] PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models

Torsten Scholak, Nathan Schucher+1 more|arXiv (Cornell University)|Sep 10, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

PICARDは、大規模言語モデルにおける制約付き自己回帰的デコードのための新規で軽量な手法であり、段階的パースを用いて生成中に無効なトークンを除外することで、出力の正しさを顕著に向上させる。この手法により、アーキテクチャの変更や大きなビームサイズを用いずに、微調整済みT5モデルがSpider や CoSQL といったテキストtoSQLベンチマークで最先端の性能を達成できる。

ABSTRACT

Large pre-trained language models for textual data have an unconstrained output space; at each decoding step, they can produce any of 10,000s of sub-word tokens. When fine-tuned to target constrained formal languages like SQL, these models often generate invalid code, rendering it unusable. We propose PICARD (code and trained models available at https://github.com/ElementAI/picard), a method for constraining auto-regressive decoders of language models through incremental parsing. PICARD helps to find valid output sequences by rejecting inadmissible tokens at each decoding step. On the challenging Spider and CoSQL text-to-SQL translation tasks, we show that PICARD transforms fine-tuned T5 models with passable performance into state-of-the-art solutions.

研究の動機と目的

• 事前学習済み言語モデルから文法的・意味的に有効な形式言語出力（例：SQL）を生成する課題に対処すること。
• 独自の語彙やモデルアーキテクチャ、または非常に大きなビームサイズを必要とする従来の制約付きデコード手法の限界を克服すること。
• 再訓練や微調整なしに、標準の事前学習済み言語モデルデコーダーから高精度で正しいSQLを生成すること。
• 既存のビームサーチやグリーディデコードアルゴリズムと互換性のある、即挿入型のソリューションを提供すること。

提案手法

• 各デコードステップで部分的トークン列を検証するために、モナドコンビネータを用いた段階的パースを導入する。
• SQLスキーマと文法規則に基づき、レキシング、ガードなしのパース、ガード付きのパースの段階的検証チェックを適用する。
• 各ステップごとに上位k個の確率の高いトークンに制限し、無効なトークンに-∞のスコアを割り当てることで、効果的に除外する。
• オフ、レキシング、ガードなしのパース、ガード付きのパースの4つの動作モードをサポートし、検証の強度が段階的に向上する。
• モデルアーキテクチャや語彙を変更せずに、標準の自己回帰的デコードにスムーズに統合する。
• スキーマ情報（テーブル名やカラム名）を用いて識別子を検証し、パース中に参照の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、段階的パースを用いて事前学習済み言語モデルの自己回帰的デコードの正しさを向上させることができるか？
• RQ2 各デコードステップでのパース制約統合と、ビーム仮説の後処理によるフィルタリングとを比較した場合、性能と効率にどのような差が生じるか？
• RQ3 Picardは、Spider や CoSQL といった標準的なT5モデルのテキストtoSQLタスクにおける性能をどの程度向上させるか？
• RQ4 レキシング、ガード付き／なしのパースといった異なる検証モードおよびビームサイズが、最終的な出力品質に与える影響は何か？
• RQ5 Picardにより、より小さなT5モデルが、Picardなしの大きなモデルと同等の最先端の結果を達成できるか？

主な発見

• PICARDを有効にしたT5-Baseモデルは、PICARDなしのT5-Largeモデルを上回り、Spiderデータセットで顕著な効率的向上を示した。
• T5-3BモデルにPICARDを適用した場合、Spiderで開発セットにおいて56.9％の質問マッチ精度と24.2％のインタラクションマッチ精度を達成し、最先端の性能を実現した。
• CoSQLでは、T5-3BモデルにPICARDを適用することで、テストセットで54.6％の質問マッチ精度と23.7％のインタラクションマッチ精度を達成し、過去の最先端システムと同等またはそれを上回った。
• ビームサイズが1から2に増加する際のPICARDの効果が最も顕著で、ビームサイズ4を超えると効果の逓減が見られた。
• 段階的検証（各ステップでの検証）は、最終的なみなし検証よりも顕著に効果的であり、特に小さなビームサイズで顕著だった。
• PICARDが処理する上位k個のトークン数は、性能にわずかな影響を与えるが、T5-3Bのような大きなモデルではその影響が最小であった。