[論文レビュー] FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding

Yanan Zheng, Jing Zhou+8 more|arXiv (Cornell University)|Sep 27, 2021

Topic Modeling被引用数 7

ひとこと要約

この論文は、少数-shot自然言語理解のための標準化された評価フレームワークであるFewNLUを紹介し、マルチスプリットデータ分割戦略により信頼性を向上させている。このフレームワークで最先端手法を再評価した結果、従来の性能推定は不正確であり、異なる手法の向上効果は相補的であり、特定の手法が全タスクで優勢であることはなく、統合モデルは完全に教師ありのベースラインに近い性能を達成することがわかった。

ABSTRACT

The few-shot natural language understanding (NLU) task has attracted much recent attention. However, prior methods have been evaluated under a disparate set of protocols, which hinders fair comparison and measuring progress of the field. To address this issue, we introduce an evaluation framework that improves previous evaluation procedures in three key aspects, i.e., test performance, dev-test correlation, and stability. Under this new evaluation framework, we re-evaluate several state-of-the-art few-shot methods for NLU tasks. Our framework reveals new insights: (1) both the absolute performance and relative gap of the methods were not accurately estimated in prior literature; (2) no single method dominates most tasks with consistent performance; (3) improvements of some methods diminish with a larger pretrained model; and (4) gains from different methods are often complementary and the best combined model performs close to a strong fully-supervised baseline. We open-source our toolkit, FewNLU, that implements our evaluation framework along with a number of state-of-the-art methods.

研究の動機と目的

• 少数ショットNLUのための標準化された評価プロトコルの欠如が、分野内の公平な比較や進捗の測定を妨げているのを是正すること。
• テスト性能、開発・テスト相関、ハイパーパramータ設定における安定性という3つの主要な問題を解決することで、評価の信頼性を向上させること。
• 統一的かつより厳密なフレームワークの下で最先端の少数ショットNLU手法を再評価し、これまで隠れていたインサイトを明らかにすること。
• 異なる少数ショット手法の向上効果がほとんど相補的であり、それらを組み合わせることで完全に教師ありの性能に近づく可能性があることを示すこと。
• FewNLUをオープンソースのツールキットとしてリリースし、評価フレームワーク、最先端手法、標準化されたトレーニングおよび評価手順を実装すること。

提案手法

• ラベル付きデータから複数回にわたり複数の訓練/開発スプリットをランダムに抽出し、結果を統合することで、より高い頑健性と信頼性を達成するマルチスプリット戦略を提案する。
• 3つの望ましい性質（テスト性能の向上、開発・テスト相関の向上、ハイパーパramータ設定における安定性）を満たす評価フレームワークを設計する。
• 複数のランダムスプリットにわたる繰り返しのハイパーパramータ選択を用いることで、単一スプリットへの過適合を低減し、過大評価を回避する。
• CLS、PET、ADAPET、P-tuning、FlipDAなど、複数の少数ショット手法をサポートする標準化されたトレーニングおよび評価パイプラインを採用する。
• 正則化技術（例：MLM損失）とトレーニングパラダイム（例：iPET、Noisy Student）を統合し、性能向上の可能性を調査する。
• 新しいフレームワークに基づいてベンチマーク結果を再リリースし、再現可能性と手法間の公平な比較を確保する。

実験結果

リサーチクエスチョン

• RQ1 提案されたマルチスプリット戦略は、従来のデータ分割戦略と比較して、テスト性能、開発・テスト相関、安定性の観点でどのように異なるか？
• RQ2 不適切な評価プロトコルのため、従来の少数ショットNLU性能推定はどの程度不正確であったか？
• RQ3 異なる少数ショット手法の性能向上は相補的であり、それらを組み合わせることで完全に教師ありの性能に近づけるか？
• RQ4 特定の少数ショット手法が多様なNLUタスク全体で一貫して他の手法を上回るか？
• RQ5 モデルスケーリングが、ADAPETのような少数ショット手法の相対的性能にどのように影響するか？

主な発見

• マルチスプリット戦略は、ベースラインのスプリット戦略と比較して、テスト性能、開発・テスト相関、安定性の面で顕著に向上させ、より信頼性の高い評価プロトコルを確立した。
• 従来の文献は、信頼性の低い評価プロトコルのため、少数ショット手法の絶対的性能と相対的向上効果を系統的に過大評価していた。標準化されたベンチマークの必要性が浮き彫りになった。
• 異なる少数ショット手法の性能向上はほとんど相補的であり、それらの組み合わせにより、強力なRoBERTa完全教師ありベースラインとの平均差はたった2.89ポイントにとどまった。
• 特定の少数ショット手法が全タスクで優勢であることはなく、性能はタスクによって顕著に変動するため、より頑健で一貫性のある手法の開発が求められる。
• ADAPETのような特定の手法の利点は、DeBERTaのようなより大きな事前学習モデルに適用すると低下する傾向にあり、スケーリング効果が単調でないことが示唆された。
• 最良の統合モデルは、いかなる個別手法よりも優れており、完全に教師ありの性能に非常に近づいた。これは、アンサンブルベースの少数ショット学習の可能性を示している。