[論文レビュー] FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding

Yutai Hou, Jiafeng Mao+5 more|arXiv (Cornell University)|Sep 17, 2020

Topic Modeling参考文献 24被引用数 13

ひとこと要約

FewJointは、59の実世界のドメインをカバーするタスク指向対話における統合的言語理解のための新規少数ショット学習ベンチマークを導入し、意図検出とスロットタギングを含む、現実のNLPの複雑さを反映する。合成ドメインに依存せずに評価を可能にし、微調整を用いた統合学習が少数ショット性能を向上させることを示し、3ショット設定で38.97％の文単位正答率を達成した。

ABSTRACT

Few-shot learning (FSL) is one of the key future steps in machine learning and has raised a lot of attention. However, in contrast to the rapid development in other domains, such as Computer Vision, the progress of FSL in Nature Language Processing (NLP) is much slower. One of the key reasons for this is the lacking of public benchmarks. NLP FSL researches always report new results on their own constructed few-shot datasets, which is pretty inefficient in results comparison and thus impedes cumulative progress. In this paper, we present FewJoint, a novel Few-Shot Learning benchmark for NLP. Different from most NLP FSL research that only focus on simple N-classification problems, our benchmark introduces few-shot joint dialogue language understanding, which additionally covers the structure prediction and multi-task reliance problems. This allows our benchmark to reflect the real-word NLP complexity beyond simple N-classification. Our benchmark is used in the few-shot learning contest of SMP2020-ECDT task-1. We also provide a compatible FSL platform to ease experiment set-up.

研究の動機と目的

• 少数ショットNLPにおける標準化されたベンチマークの不足に対処するため、現実的でドメインに多様性のあるベンチマークを導入する。
• 構造予測（例：シーケンスラベル付け）とマルチタスク学習（例：意図とスロットの統合予測）を含めることで、現実世界のNLPの複雑さを反映する。
• 人工的に作成されたまたは偽のドメインに依存せずに、公平で再現可能な少数ショットモデルの評価を可能にする。
• モデルのトレーニング、評価、比較を簡素化するための互換性のある少数ショット学習プラットフォームを提供する。
• 多様で実際の産業界の対話ドメインを用いた評価の標準化を通じて、少数ショットNLP分野における累積的進歩を促進する。

提案手法

• 産業用APIから得た59の実世界の対話ドメインを用いてベンチマークを構築し、合成ドメインの生成を避ける。
• 少数ショット学習タスクを、未学習ドメインにおける意図検出（分類）とスロットタギング（シーケンスラベル付け）の統合的予測として定義する。
• サポートセットからのクラスプロトタイプを活用することで、微調整なしにプロトタイプネットワーク（例：SepProto、JointProto）を用いた少数ショット分類を実行する。
• 意図とスロット予測タスク間の監督信号を共有するためのログィット依存性テクニックを実装して統合学習を実現する。
• ターゲットドメインのサポートセット上で微調整を実施することで、モデルを新しいドメインに適応させる（JointProto + Finetune）。
• BERT-base埋め込みを平均プーリングで使用し、埋め込みの最適化テクニック（例：ペアワイズ埋め込み、段階的アンフリーージング）を適用して表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 構造予測とマルチタスク学習を含む少数ショットNLPベンチマークは、単純な分類に特化した既存のベンチマークと比較して、現実世界のNLPの複雑さをよりよく反映できるか？
• RQ2 意図検出とスロットタギングの統合学習は、独立したタスク学習と比較して、少数ショット性能をどのように向上させるか？
• RQ3 3ショットのサポートセット上で微調整を実施することで、少数ショット統合言語理解性能はどの程度向上するか？
• RQ4 合成または偽のドメインではなく、実世界で多様な対話ドメインを用いることで、より信頼性が高く一般化可能な少数ショットモデルの評価が可能になるか？
• RQ5 標準化されたプラットフォームは、少数ショットNLP手法間の再現性と公平な比較を向上させることができるか？

主な発見

• JointProto + Finetuneを用いた3ショット設定で、FewJointは38.97％の文単位正答率を達成し、JointProto（23.65％）とSepProto（16.40％）を顕著に上回った。
• 統合学習（JointProto）は、分離学習（SepProto）と比較して7.25パーセンテージポイントの文単位正答率向上を示し、タスク間相互作用の利点を裏付けた。
• サポートセット上で微調整を実施することで、スロットF1スコアはJointProtoの40.37％からJointProto + Finetuneの61.79％に上昇し、ドメイン特化型の適応が極めて有効であることを示した。
• ベンチマークに含まれる59の実世界の対話ドメインのおかげで、合成ドメインの構築が不要となり、評価の信頼性と現実世界への関連性が向上した。
• 共有BERT埋め込みとログィット依存性を用いた統合学習により、より良い表現学習と少数ショット一般化性能の向上が達成された。
• 提案された少数ショット学習プラットフォームにより、モデル間で一貫性があり再現可能な評価が可能となり、公平な比較と段階的進歩が促進された。