[論文レビュー] FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation

Xu Han, Hao Zhu+5 more|arXiv (Cornell University)|Oct 24, 2018

Topic Modeling参考文献 20被引用数 43

ひとこと要約

本論文は FewRel を紹介する。100 のリレーションと 70,000 の文を含む、大規模で人手注釈付きの少数ショット関係分類データセットであり、これに対して複数の少数ショット学習モデルを評価し、人間が現在のモデルを大きく上回ることを示している。

ABSTRACT

We present a Few-Shot Relation Classification Dataset (FewRel), consisting of 70, 000 sentences on 100 relations derived from Wikipedia and annotated by crowdworkers. The relation of each sentence is first recognized by distant supervision methods, and then filtered by crowdworkers. We adapt the most recent state-of-the-art few-shot learning methods for relation classification and conduct a thorough evaluation of these methods. Empirical results show that even the most competitive few-shot learning models struggle on this task, especially as compared with humans. We also show that a range of different reasoning skills are needed to solve our task. These results indicate that few-shot relation classification remains an open problem and still requires further research. Our detailed analysis points multiple directions for future research. All details and resources about the dataset and baselines are released on http://zhuhao.me/fewrel.

研究の動機と目的

• 大規模で高品質な少数ショット関係分類データセットを作成し、遠隔監視のノイズに対処する。
• RC 上で現代の少数ショット学習手法を評価し、ベースラインを確立するとともに人間の性能とのギャップを特定する。
• 関係表現の多様性を分析し、将来の研究の方向性を提案する。
• NLP タスクにおける少数ショット学習を進展させる資源とベースラインを提供する。

提案手法

• Wikipedia と Wikidata から候補文を遠隔監視で作成し、その後クラウド上で正確性をフィルタリングする。
• 各リレーションの候補集合を、エンティティペアごとに1つのインスタンスに制限し、ペアの memorization を減らす。
• フィルタリング後、各リレーションにつき 100 リレーション across 700 正例をサンプリング。
• 標準的な N-ウェイ K-ショット設定を採用し、最先端の複数の少数ショット法を RC に適用。
• 文を CNN または PCNN エンコーダで表現し、Finetune や kNN、メタ学習やグラフベース手法などのベースラインを評価する。
• 再現性のためデータセットとベースラインを公開する。）

実験結果

リサーチクエスチョン

• RQ1 大規模で高品質な FewRel データセットで訓練した場合、少数ショット学習法は RC で競争力のある精度を達成できるか？
• RQ2 最先端の少数ショットモデル（例えばプロトタイプネットワーク、GNN、SNAIL、メタネットワーク）は、人間と比較して RC でどのように性能を発揮するか？
• RQ3 FewRel でリレーションを正しく分類するには、どのような推論（パターン型、常識的、論理的、指示代名詞の照合など）が必要か？
• RQ4 少数ショット設定下の現在の RC モデルの制約は何で、将来の研究はどこを改善できるか？

主な発見

Model	5 Way 1 Shot	5 Way 5 Shot	10 Way 1 Shot	10 Way 5 Shot
Finetune (CNN)	44.21±0.44	68.66±0.41	27.30±0.28	55.04±0.31
kNN (CNN)	54.67±0.44	68.77±0.41	41.24±0.31	55.87±0.31
Meta Network (CNN)	64.46±0.54	80.57±0.48	53.96±0.56	69.23±0.52
GNN (CNN)	66.23±0.75	81.28±0.62	46.27±0.80	64.02±0.77
SNAIL (CNN)	67.29±0.26	79.40±0.22	53.28±0.27	68.33±0.25
Prototypical Network (CNN)	69.20±0.20	84.79±0.16	56.44±0.22	75.55±0.19
Human performance	92.22±5.53	-	85.88±7.40	-

• FewRel には各リレーションにつき 700 件のインスタンスを含む 100 のリレーションがあり、合計 70,000 件のインスタンスがある。
• 最先端の少数ショットモデルは、ベースラインの Vanilla CNN/PCNN を上回るが、FewRel での人間の性能にはまだ及ばない。
• 高度な手法を用いたCNNベースの少数ショットモデルは、5ウェイ/10ウェイ設定で Finetune や kNN のベースラインより高い精度を達成。
• プロトタイプネットワークなどの関連アプローチが、複数の設定で評価したモデルの中で最も良い CNN ベースの結果を達成。
• 人間はモデルより大幅に高い精度を達成（例: 5ウェイ1ショットで 92.22%）しており、改善の余地がある。