[論文レビュー] UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models

Tianbao Xie, Chen Wu+21 more|arXiv (Cornell University)|Jan 16, 2022

Topic Modeling被引用数 11

ひとこと要約

この論文は、T5ベースのモデルを用いて、意味解析、質問応答、テキストtoSQLを含む21の多様な構造的知識接地（SKG）タスクを一貫したテキストtoテキスト形式に統一するUnifiedSKGという統一フレームワークを紹介する。一貫したデータ、モデル、評価プロトコルを提供することで、微調整されたT5モデルを用いて全タスクで最先端の性能を達成し、特にマルチタスクプレフィックスチューニングにより顕著な向上を示す一方で、GPT-3 や Codex といった大規模言語モデル（LLM）がゼロショットおよびフェイワショットのSKG設定において限界を示すことも明らかにした。

ABSTRACT

Structured knowledge grounding (SKG) leverages structured knowledge to complete user requests, such as semantic parsing over databases and question answering over knowledge bases. Since the inputs and outputs of SKG tasks are heterogeneous, they have been studied separately by different communities, which limits systematic and compatible research on SKG. In this paper, we overcome this limitation by proposing the UnifiedSKG framework, which unifies 21 SKG tasks into a text-to-text format, aiming to promote systematic SKG research, instead of being exclusive to a single task, domain, or dataset. We use UnifiedSKG to benchmark T5 with different sizes and show that T5, with simple modifications when necessary, achieves state-of-the-art performance on almost all of the 21 tasks. We further demonstrate that multi-task prefix-tuning improves the performance on most tasks, largely improving the overall performance. UnifiedSKG also facilitates the investigation of zero-shot and few-shot learning, and we show that T0, GPT-3, and Codex struggle in zero-shot and few-shot learning for SKG. We also use UnifiedSKG to conduct a series of controlled experiments on structured knowledge encoding variants across SKG tasks. UnifiedSKG is easily extensible to more tasks, and it is open-sourced at https://github.com/hkunlp/unifiedskg.

研究の動機と目的

• 異なるドメインや知識ソースにまたがる多様なタスクの間での構造的知識接地（SKG）研究の断片化を是正すること。
• SKGのためのデータセット、モデル、コード、実験、評価指標を統一的かつ拡張可能なフレームワークに標準化すること。
• 統一されたベンチマークを用いて、事前学習済み言語モデル（例：T5）が多様なSKGタスクにおいてどのように性能を発揮するかを評価すること。
• 特にプレフィックスチューニングを用いたマルチタスク学習の有効性が、SKGタスク全体にわたる一般化性能を向上させるかを調査すること。
• 構造的知識のエンコーディングのロバストネスと、大規模言語モデルの構造的知識接地タスクにおけるゼロショット／フェイワショット能力を分析すること。

提案手法

• 21の異種なSKGタスクを、入力が自然言語の要請と構造的知識、出力が自然言語または実行可能なプログラムである一貫したテキストtoテキスト形式に変換すること。
• 出力の妥当性と性能を向上させるために、制約付きデコードや再ランク付けを用いて個々のタスクに微調整されたT5モデルを用いること。
• タスク間での知識共有と一般化性能の向上を図るために、マルチタスクプレフィックスチューニングを適用すること。特にリソースが限られたタスクで顕著な向上が得られる。
• 異なる構造的知識エンコーディング戦略がモデル性能に与える影響を評価するための制御された実験を設計すること。
• T0、GPT-3、Codex といった大規模モデルを用いて、統一されたSKGタスク上でゼロショットおよびフェイワショットの能力をベンチマークすること。
• 出力生成における障害モードとモデルサイズ依存性を特定するための包括的な誤差分析を実施すること。

実験結果

リサーチクエスチョン

• RQ1 複数のドメインや知識ソースにまたがる多様な構造的知識接地タスクを、一貫したテキストtoテキストフレームワークで効果的に標準化できるか？
• RQ2 単一の統一されたトレーニングおよび評価プロトコルを用いて、T5モデルが21の異種なSKGタスクすべてで最先端の性能を達成できるか、その程度はいかほどか？
• RQ3 マルチタスクプレフィックスチューニングは、単一タスク微調整や標準的なマルチタスク学習と比較して、SKGタスク全体で顕著な性能向上をもたらすか？
• RQ4 T0、GPT-3、Codex といった大規模言語モデルは、統一されたSKGベンチマーク上でゼロショットおよびフェイワショット設定でどの程度の性能を示すか？
• RQ5 T5モデルは構造的知識エンコーディングの変動に対してどの程度感受性を示すか？また、どのエンコーディングパターンがタスク全体で最もロバストな性能をもたらすか？

主な発見

• 微調整されたT5モデルは、21のSKGタスクのうち20で最先端またはほぼ最先端の性能を達成し、多様なタスクにわたる強力な一般化能力を示した。
• T5の性能はモデルサイズに依存しており、T5-3BはLogic2Text や ToTTo のような複雑なタスクでより小さなバージョンを上回った。
• マルチタスクプレフィックスチューニングは、ほとんどのタスクで顕著な性能向上をもたらし、特にT5-baseおよびT5-largeでは、SKGタスク間での効果的な知識転送が確認された。
• T0、GPT-3、Codex は、SKGタスクにおけるゼロショットおよびフェイワショット学習で苦戦しており、構造的知識接地に内在する分布シフトに対してこれらのモデルがロバストでないことが示された。
• T5モデルは構造的知識エンコーディングの変化に対して感受性を示し、エンコーディング形式の違いによって性能がタスクごとに変動することを明らかにした。これは、タスク固有のエンコーディング戦略の必要性を強調した。
• 誤差分析から、T5-3Bですら誤った出力を生成することが判明した。また、より大きなモデルでは誤り率が低下するが、構造的誤りや事実誤認の完全な排除までは至らないことが明らかになった。