[論文レビュー] Neural Snowball for Few-Shot Relation Learning

Tianyu Gao, Xu Han+5 more|arXiv (Cornell University)|Aug 29, 2019

Topic Modeling参考文献 60被引用数 7

ひとこと要約

Neural Snowball は、既存の関係で事前学習された関係的シアンプソンネットワーク（RSN）を用いて、未学習の関係に対して高品質でラベルなしのインスタンスを段階的に蓄積する few-shot 関係学習フレームワークを提案する。RSN を用いた意味的類似度を活用して信頼性の高いインスタンスを選択することで、ベースラインと比較して顕著な性能向上を達成し、未学習の関係においてトップ5インスタンスでの精度が 82.15% に達する。

ABSTRACT

Knowledge graphs typically undergo open-ended growth of new relations. This cannot be well handled by relation extraction that focuses on pre-defined relations with sufficient training data. To address new relations with few-shot instances, we propose a novel bootstrapping approach, Neural Snowball, to learn new relations by transferring semantic knowledge about existing relations. More specifically, we use Relational Siamese Networks (RSN) to learn the metric of relational similarities between instances based on existing relations and their labeled data. Afterwards, given a new relation and its few-shot instances, we use RSN to accumulate reliable instances from unlabeled corpora; these instances are used to train a relation classifier, which can further identify new facts of the new relation. The process is conducted iteratively like a snowball. Experiments show that our model can gather high-quality instances for better few-shot relation learning and achieves significant improvement compared to baselines. Codes and datasets are released on https://github.com/thunlp/Neural-Snowball.

研究の動機と目的

• オープンエンドド知識グラフにおける未学習の関係に対する few-shot 関係学習の課題に対処すること。
• わずか数個のラベル付きインスタンスでのみ、新しい関係の関係抽出を向上させること。
• 事前に存在するラベル付き関係を活用し、トランスファーラーニングによって新しい関係の高信頼度インスタンスの発見を支援すること。
• 高精度を維持しながら学習データを段階的に拡張するブートストラップ機構の開発。
• 関係的類似度を測定するための関係的シアンプソンネットワーク（RSN）の few-shot アダプテーションへの有効性を示すこと。

提案手法

• 本手法は、既存のラベル付き関係に基づいて、文のペア間の関係的類似度のメトリクスを学習する関係的シアンプソンネットワーク（RSN）を用いる。
• 新しい関係の少数のシードインスタンスが与えられたとき、RSN はラベルなしコーパスからの候補文をスコア付けし、高信頼度のインスタンスを特定する。
• 選択された高信頼度インスタンスを用いて関係分類器を微調整し、その後で新しい関係の追加の事実を同定する。
• このプロセスは反復的であり、新たに発見された事実がパイプラインに再帰的にフィードバックされ、スノーボール効果に類似する。
• RSN モデルは歴史的な関係で事前学習され、新しい関係の学習中に固定されたままであるため、未学習の関係への一般化が保証される。
• トランスファーラーニングとアクティブインスタンス選択を組み合わせることで、大規模なラベル付きデータを必要とせず、few-shot 性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、既存の関係から得た意味的知識を効果的に転送し、未学習の関係の few-shot 学習を向上させることができるか？
• RQ2 RSN は、それらの関係に事前に露出されていない状態でも、新しい関係の高信頼度インスタンスをどれほど正確に同定できるか？
• RQ3 新たに発見されたインスタンスを蓄積し、再訓練する反復的スノーボールプロセスは、一貫した性能向上をもたらすか？
• RQ4 few-shot 環境下で、RSN を用いたインスタンス選択は、ランダムサンプリングやパターンベース手法と比較してどの程度優れているか？
• RQ5 わずか数個のシードインスタンスしか与えられていない状況で、モデルは未学習の関係にどの程度一般化できるか？

主な発見

• Neural Snowball は、強力なベースラインと比較して、特に未学習の関係における精度と F1 スコアにおいて顕著な性能向上を達成する。
• RSN モデルは、以前に見られなかった関係の候補を同定する際、トップ5インスタンスでの精度が 82.15% を達成し、優れた一般化性能を示している。
• 反復的スノーボールプロセスは、インスタンス数が少ない状況でもランダムサンプリングよりも高い精度を維持しており、選択されたデータの質の高さを裏付けている。
• チェアパーソン関係における分類器の性能は反復回数に応じて着実に向上し、精度は常にランダムベースラインを上回っている。
• モデルは異なる関係や設定に対しても頑健であり、より多くのインスタンスが集まるにつれて、再現率と精度の両方で一貫した向上を示している。
• 本手法は、事前に存在するラベル付きデータを効果的に活用し、新しい関係の学習をブートストラップすることで、大規模なアノテーションに依存するのを軽減している。