[論文レビュー] Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing

Linlu Qiu, Peter Shaw+6 more|arXiv (Cornell University)|May 24, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、540Bパラメータに達するまでのエンコーダデコーダ型（T5）およびデコーダオンリーモデル（PaLM）を用いて、モデルサイズのスケーリングが意味解析における構成的一般化に与える影響を調査する。微調整、プロンプトチューニング、イン・コンテキスト学習を比較した結果、微調整は平坦または負のスケーリング曲線を示す一方、プロンプトチューニングはより正のスケーリングを示し、スケールが大きいほど微調整を上回る。これは、パラメータ効率の良い手法がスケールからより良い一般化を引き出すのに有効である可能性を示唆する。

ABSTRACT

Despite their strong performance on many tasks, pre-trained language models have been shown to struggle on out-of-distribution compositional generalization. Meanwhile, recent work has shown considerable improvements on many NLP tasks from model scaling. Can scaling up model size also improve compositional generalization in semantic parsing? We evaluate encoder-decoder models up to 11B parameters and decoder-only models up to 540B parameters, and compare model scaling curves for three different methods for applying a pre-trained language model to a new task: fine-tuning all parameters, prompt tuning, and in-context learning. We observe that fine-tuning generally has flat or negative scaling curves on out-of-distribution compositional generalization in semantic parsing evaluations. In-context learning has positive scaling curves, but is generally outperformed by much smaller fine-tuned models. Prompt-tuning can outperform fine-tuning, suggesting further potential improvements from scaling as it exhibits a more positive scaling curve. Additionally, we identify several error trends that vary with model scale. For example, larger models are generally better at modeling the syntax of the output space, but are also more prone to certain types of overfitting. Overall, our study highlights limitations of current techniques for effectively leveraging model scale for compositional generalization, while our analysis also suggests promising directions for future work.

研究の動機と目的

• モデルサイズの増加が意味解析における構成的一般化を改善するかどうかを調査すること。
• 微調整、プロンプトチューニング、イン・コンテキスト学習という異なるタスク適応手法の構成的一般化におけるスケーリング行動を比較すること。
• モデルサイズや適応手法に応じて系統的に変化するエラーの傾向や失敗モードを同定すること。
• 分布シフト、出力表現、プロンプト検索の質がスケーリングパフォーマンスに与える影響を評価すること。

提案手法

• 意味解析の評価を目的として、最大11Bパラメータのエンコーダデコーダ型T5モデルと、最大540BパラメータのデコーダオンリーモデルPaLMを評価。
• 3つのタスク適応手法を適用：完全微調整、プロンプトチューニング（学習可能なソフトプロンプトを用いる）、Few-shotデモンストレーションを用いたイン・コンテキスト学習。
• 標準ベンチマークとして、構成的一般化評価に適したGeoQueryおよびSMCalFlow-CSを用いる。
• 訓練済み要素の新しい組み合わせを含む分布外例に対して、モデルサイズに応じたパフォーマンスを測定。
• 構文エラー（例：括弧の不均衡）や分布的エラー（例：未学習の述語の使用）などのエラー種別を分析。
• イン・コンテキスト学習におけるプロンプト品質の影響を評価するため、ランダムおよびオラクルベースのプロンプト検索を用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズの増加は意味解析における構成的一般化を改善するか？
• RQ2 微調整、プロンプトチューニング、イン・コンテキスト学習の各手法における構成的一般化のスケーリング行動はどのように異なるか？
• RQ3 モデルサイズや適応手法に応じて系統的に変化する予測のエラーパターンは存在するか？
• RQ4 分布シフト、出力表現、プロンプト検索の質はスケーリング曲線にどのように影響するか？

主な発見

• 微調整は構成的一般化において平坦または負のスケーリング曲線を示し、モデルサイズが増大しても改善が見られない、あるいは逆に劣化する傾向を示す。
• プロンプトチューニングは大規模モデルにおいて標準的な微調整を上回り、より正のスケーリング曲線を示す。これは、スケールを活用するのに適していることを示唆する。
• イン・コンテキスト学習は正のスケーリング曲線を示すが、常に小さな微調整済みモデルに劣る。これは、スケールが大きいと効果が限定的であることを示している。
• 大規模モデルは構文構造（例：括弧のバランス）をよりよくモデル化できるが、特定の構成的パターンに対して過学習しやすくなる。
• エラー分析の結果、大規模モデルは誤りであっても、訓練済みの例と完全に一致する出力を生成する傾向があることが判明。これは記憶化または分布バイアスの影響を示唆する。
• オラクルプロンプト検索器の使用によりイン・コンテキスト学習のパフォーマンスは向上するが、依然として小さな微調整済みモデルに達しない。これはプロンプト工学の限界を示している。