[論文レビュー] FewRel 2.0: Towards More Challenging Few-Shot Relation Classification

Tianyu Gao, Xu Han+5 more|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 21被引用数 5

ひとこと要約

FewRel 2.0 は、few-shot ドメイン適応のためのバイオメディカル分野のテストセットと、None-of-the-above (NOTA) 関係オプションを追加することで、より挑戦的な少サンプル関係分類ベンチマークを導入した。BERT-PAIR やプロトタイプネットワークなどの最先端モデルですら、両方の課題において顕著な性能低下を示し、現実世界のドメインシフトおよびオープンボックス分類に対する現在の手法に深刻なギャップが存在することが明らかになった。

ABSTRACT

We present FewRel 2.0, a more challenging task to investigate two aspects of few-shot relation classification models: (1) Can they adapt to a new domain with only a handful of instances? (2) Can they detect none-of-the-above (NOTA) relations? To construct FewRel 2.0, we build upon the FewRel dataset (Han et al., 2018) by adding a new test set in a quite different domain, and a NOTA relation choice. With the new dataset and extensive experimental analysis, we found (1) that the state-of-the-art few-shot relation classification models struggle on these two aspects, and (2) that the commonly-used techniques for domain adaptation and NOTA detection still cannot handle the two challenges well. Our research calls for more attention and further efforts to these two real-world issues. All details and resources about the dataset and baselines are released at https: //github.com/thunlp/fewrel.

研究の動機と目的

• 少サンプル関係分類モデルのドメイン外設定における現実世界の評価の欠如に対処すること。
• 少サンプル学習における「None-of-the-above (NOTA)」関係の検出可能性の妥当性を調査すること、これは重要な課題だが軽視されがちである。
• 既存の少サンプル学習技術がドメインを越えて一般化できるか、オープンボックス分類を処理できるかを評価すること。
• バイオメディカル分野のテストセットと NOTA 関係を備えた新しいベンチマークをリリースし、耐障害性のある少サンプル一般化に関する研究を促進すること。
• 現在の SOTA モデルが少サンプルドメイン適応および少サンプル NOTA の両方で著しく困難を抱えていることを示し、新たな手法の必要性を強調すること。

提案手法

• 元の Wikipedia に基づく FewRel データセットとは対照的に、PubMed バイオメディカルコロナスから新しいテストセットを構築し、ドメインシフトを評価する。
• 少サンプル設定において NOTA 関係クラスを導入し、クエリがサンプルされた N 個の関係のいずれにも該当しない可能性があることを想定する。
• トレーニング時に NOTA を追加の N+1 番目のクラスとして扱うことで、プロトタイプネットワークおよび BERT-PAIR モデルを NOTA 対応に適応する。
• ドメイン一般化を向上させるために、アドバーシャルトレーニングをプロトタイプネットワークに適用し、ドメインシフトの影響を軽減することを目的とする。
• NOTA の割合を 0%、15%、30%、50% と変化させながらモデルを訓練し、未学習の関係の割合の増加に対するロバストネスを評価する。
• 文のエンコーダーとして BERT を使用し、関係固有の分類ヘッドを適用することで、文脈理解の向上とゼロショット一般化の強化を図る。

実験結果

リサーチクエスチョン

• RQ1 最先端の少サンプル関係分類モデルは、たった数個のラベル付き例しか得られない新しいドメイン（例：バイオメディスン）に一般化できるか？
• RQ2 クエリがトレーニング時に確認されていない「None-of-the-above (NOTA)」関係に属する可能性がある場合、既存の少サンプルモデルはどの程度の性能を示すか？
• RQ3 アドバーシャルトレーニングおよびファインチューニングは、少サンプル関係分類におけるドメイン適応をどの程度向上させるか？
• RQ4 テストセットにおける NOTA 関係の割合が増加するにつれて、モデルの性能はどの程度低下するか？
• RQ5 BERT-PAIR およびプロトタイプネットワークは、ドメインシフトとオープンボックス分類の両方を同時に処理できるように効果的に適応できるか？

主な発見

• BERT-PAIR やプロトタイプネットワークを含む最先端モデルは、バイオメディカルドメインでテストされた際、16–17ポイントの顕著な性能低下を示し、少サンプルドメイン適応が著しく不十分であることが示された。
• アドバーシャルトレーニングを施しても、モデルは依然として新しいドメインで性能を発揮できないため、現在のドメイン適応技術が少サンプル設定では不十分であることが示された。
• NOTA を無視するモデル（* でマークされたもの）は、8–13ポイントの精度低下を示し、NOTA をクラスとして扱うことが不可欠であることを実証した。
• BERT-PAIR は少サンプル DA および NOTA の両方で最高の性能を示し、5-way 1-shot DA で 80.31%、50% NOTA の 5-way 5-shot で 86.06% の精度を達成したが、依然として 0% NOTA のベースラインに劣る。
• 訓練セットにバイオメディカルのインスタンスをたった 1,000 個追加するだけで、BERT-PAIR の精度は 5-way 1-shot で 72.30%、5-way 5-shot で 80.50% に上昇した。これは、より多くのデータで大幅な改善が可能である可能性を示唆している。
• 0% NOTA と 50% NOTA の設定間の性能差は依然として顕著で、1-shot では 8 ポイント、5-shot では 7 ポイントの開きがあり、NOTA 検出は依然として主要な未解決課題であることが示された。