[論文レビュー] CERES: Distantly Supervised Relation Extraction from the Semi-Structured Web

Colin Lockard, Dong Xin+2 more|arXiv (Cornell University)|Apr 12, 2018

Web Data Mining and Analysis参考文献 32被引用数 10

ひとこと要約

CERESは、エンティティリンクと構造的クラスタリングを活用して手動のアノテーションを必要とせずに高品質なトレーニングラベルを生成する、部分構造的ウェブサイト向けの遠隔教師あり関係抽出手法を提案する。トピックエンティティとキーバリューパターンに焦点を当てることで、多言語のロングテールウェブサイトの40万ページから125万件の事実を90%の精度で抽出した。

ABSTRACT

The web contains countless semi-structured websites, which can be a rich source of information for populating knowledge bases. Existing methods for extracting relations from the DOM trees of semi-structured webpages can achieve high precision and recall only when manual annotations for each website are available. Although there have been efforts to learn extractors from automatically-generated labels, these methods are not sufficiently robust to succeed in settings with complex schemas and information-rich websites. In this paper we present a new method for automatic extraction from semi-structured websites based on distant supervision. We automatically generate training labels by aligning an existing knowledge base with a web page and leveraging the unique structural characteristics of semi-structured websites. We then train a classifier based on the potentially noisy and incomplete labels to predict new relation instances. Our method can compete with annotation-based techniques in the literature in terms of extraction quality. A large-scale experiment on over 400,000 pages from dozens of multi-lingual long-tail websites harvested 1.25 million facts at a precision of 90%.

研究の動機と目的

• 各サイトに対して手動のアノテーションを必要とせずに、部分構造的ウェブサイトからの完全自動の関係抽出を可能にすること。
• 部分構造的ウェブページの構造的特徴を活用することで、遠隔教師あり学習におけるノイズが多く不完全なラベルの課題に対処すること。
• 多様なレイアウトと不完全なデータを有する複雑で情報豊富なウェブサイトにおける抽出品質の向上。
• 単一の統合フレームワークを用いて、複数のドメインおよび言語にわたる関係抽出をスケーリングすること。
• 実世界のスケールで大規模なデータに対して、従来のアノテーションベースおよび弱教師あり手法と比較して、精度と再現率の面で優れるようにすること。

提案手法

• まず、エンティティリンクを用いて、各ウェブページのトピックエンティティを特定する。
• 次に、トピックエンティティと関係を持つことが既知のすべてのエンティティをページ上でアノテートし、二次的なアノテーションの計算量を二次的から一次的へ削減する。
• ページ全体のキーバリュー対を、構造的類似性に基づいてクラスタリングし、述語固有の領域を特定してラベルの正確性を向上させる。
• エンティティリンク、クラスタリング、関係分類を統合したマルチステージパイプラインを用いて、自動生成ラベルで訓練された教師あり抽出器を構築する。
• 同じウェブサイト内のページ間で一貫した構造的パターンを活用することで、一般化性能と耐障害性を向上させる。
• 既存の知識ベースに存在しない新しいエンティティを発見できるように設計されており、知識ベースのカバー範囲を広げる。

実験結果

リサーチクエスチョン

• RQ1 複雑なレイアウトと不完全なデータを有する部分構造的ウェブサイトに、遠隔教師あり学習を効果的に適用できるか。
• RQ2 部分構造的ウェブサイトの構造的特徴を活用することで、遠隔教師あり関係抽出におけるノイズの多いアノテーションをどのように低減できるか。
• RQ3 手動のラベリングを必要とせずに、アノテーションベースのラッパー誘導手法と同等の精度を達成できる遠隔教師あり手法は存在するか。
• RQ4 多様なテンプレートとデータ品質を有する多言語のロングテールウェブサイトに、この手法はどの程度スケーリングできるか。
• RQ5 トピックエンティティの特定と構造的クラスタリングを併用することで、自動生成ラベルの品質をどのように向上できるか。

主な発見

• CERESは、SWDEデータセットにおいて複数の垂直分野で平均90%以上の精度を達成し、多くのアノテーションベースのラッパー誘導手法を上回った。
• 数十の多言語のロングテールウェブサイトから40万ページ以上を対象とした大規模な抽出プロジェクトにおいて、CERESは125万件の事実を90%の精度で抽出した。
• トピックエンティティに焦点を当て、構造的クラスタリングを活用することで、ノイズの多い遠隔教師あり学習であっても誤検出のアノテーションを顕著に低減し、ラベル品質を向上させた。
• CERESは、初期知識ベースに存在しない新しいエンティティを効果的に発見でき、既存のエンティティに限定される手法よりも広範な知識ベースのカバレッジを実現した。
• 異なるテンプレート、レイアウト、データ完全性を有するウェブサイト間で、強力な一般化性能を示した。
• 手動のアノテーションを一切必要とせず、SWDEで最先端の結果を達成した。これにより、部分構造的データからの完全自動抽出の実現可能性が裏付けられた。