[論文レビュー] Low-resource Deep Entity Resolution with Transfer and Active Learning

Jungo Kasai, Kun Qian+3 more|arXiv (Cornell University)|Jun 17, 2019

Data Quality and Management参考文献 34被引用数 17

ひとこと要約

本稿では、低リソース環境における最先端のパフォーマンスを達成するために、トランスファー学習とアクティブラーニングを組み合わせたディーブラーニングベースのエンティティレゾリューション手法を提案する。高リソースデータセットで事前学習し、アクティブラーニングによって情報量の多い例を繰り返し選択することで、従来手法と比較してラベル付きデータを1/10に減らしても同等または優れたF1スコアを達成する。

ABSTRACT

Entity resolution (ER) is the task of identifying different representations of the same real-world entities across databases. It is a key step for knowledge base creation and text mining. Recent adaptation of deep learning methods for ER mitigates the need for dataset-specific feature engineering by constructing distributed representations of entity records. While these methods achieve state-of-the-art performance over benchmark data, they require large amounts of labeled data, which are typically unavailable in realistic ER applications. In this paper, we develop a deep learning-based method that targets low-resource settings for ER through a novel combination of transfer learning and active learning. We design an architecture that allows us to learn a transferable model from a high-resource setting to a low-resource one. To further adapt to the target dataset, we incorporate active learning that carefully selects a few informative examples to fine-tune the transferred model. Empirical evaluation demonstrates that our method achieves comparable, if not better, performance compared to state-of-the-art learning-based methods while using an order of magnitude fewer labels.

研究の動機と目的

• ラベル付きデータが乏しく、収集にコストがかかる低リソースなエンティティレゾリューションの課題に対処すること。
• 高リソースなソースデータセットからのトランスファーラーニングを活用することで、エンティティレゾリューションにおけるディープラーニングモデルのデータ依存性を軽減すること。
• アクティブラーニングにより、情報量が多く、不確実性が高く、信頼性の高い例を選択することで、低リソースなターゲットデータセットにおけるモデルパフォーマンスを向上させること。
• 多様なERシナリオにわたって汎用的で、属性に依存しない表現を学習できる統合されたディープラーニングアーキテクチャの開発。
• トランスファー学習とアクティブラーニングを組み合わせることで、最小限の人為的ラベル付きデータで高精度なERを実現できることを実証すること。

提案手法

• ドメイン適応を用いて、複数の高リソースなソースデータセットから転送可能な表現を学習するディープニューラルネットワークアーキテクチャを設計する。
• 豊富なラベル付きデータを有するソースデータセットでモデルを初期化し、低リソースなターゲットデータセットでファインチューニングすることでトランスファーラーニングを適用する。
• パーティション機構を用いて、高信頼性の予測と不確実な予測に基づいて例を選択するアクティブラーニング戦略を実装する。
• 各属性に対して類似度ベクトルを属性に依存しない方法で使用し、エンティティレコード間の構造的情報を保持する。
• 不確実性サンプリングと信頼度ベースのサンプリングを統合し、アクティブラーニングの反復処理において精度と再現率のバランスを取る。
• 低リソース環境下でのマッチ/ノンマッチ分類を最適化するために、コントラスト損失を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 高リソースなデータセットからのトランスファーラーニングは、低リソースなターゲットデータセットにおけるディープラーニングベースのエンティティレゾリューションを改善できるか？
• RQ2 アクティブラーニングは、ディープERモデルにおけるラベル付き例の必要数をどれほど削減できるか？
• RQ3 トランスファーラーニングとアクティブラーニングを組み合わせることで、単独で使用する場合よりも優れたパフォーマンスが得られるか？
• RQ4 ディープラーニングモデルは、多様なERドメインに一般化可能な属性に依存しない転送可能な表現を学習できるか？
• RQ5 ラベルの乏しさという条件下で、本手法は最先端の学習ベースおよび非学習ベースのER手法と定量的に比較してどの程度優れているか？

主な発見

• DBLP-ACMデータセットにおいて、わずか300件のラベル付き例でのみF1スコア97.73を達成し、より多くのラベルを必要とするベースラインモデルを上回った。
• アクティブラーニングにおける高信頼度サンプリングとパーティション機構の導入により、再現率が8.2%向上（97.21%から97.84%）した一方で、高い精度（97.63%）を維持した。
• トランスファーラーニングとアクティブラーニングの組み合わせにより、最先端のディープラーニング手法と比較して、必要なラベル付き例の数を10倍に削減できた。
• 非ディープラーニングベースのベースライン（例：SVM、ランダムフォレスト）でさえ、はるかに少ないラベル付き例で同等または優れたパフォーマンスを達成した。
• パーティション機構により、より多くの偽陰性を特定でき、ベースラインのアクティブラーニングと比較して、ラベル付きセット内の誤分類例の割合を21.7%削減した。
• DBLP-Scholar、Fodors-Zagats、Zomato-Yelp、Coraなど複数のデータセットにおける実証的評価により、低リソース環境下でも一貫したパフォーマンス向上が確認された。