[論文レビュー] Joint training for open-domain extraction on the web: exploiting overlap when supervision is limited

Rahul Gupta, Sunita Sarawagi|arXiv (Cornell University)|Feb 9, 2011

Topic Modeling参考文献 28被引用数 21

ひとこと要約

本稿では、限られた教師付きデータのもとで性能を向上させるために、重複するテキストセグメントを活用して複数のウェブソース間でオープンドメイン抽出モデルを共同で学習するアプローチを提案する。重複領域での予測の一貫性をモデルに偏りづけ、効率的な学習のためのパーティショニング戦略を用いることで、独立した学習や既存の手法（集合的推論やマルチビュー学習）に比べて顕著な精度向上を達成する。

ABSTRACT

We consider the problem of jointly training structured mod-els for extraction from multiple web sources whose records enjoy partial content overlap. This has important applica-tions in open-domain extraction, e.g. a user materializing a table of interest from multiple relevant unstructured sources; or a site like Freebase augmenting an incomplete relation by extracting more rows from web sources. Such applications require extraction over arbitrary domains, so one cannot use a pre-trained extractor or demand a huge labeled dataset. We propose to overcome this lack of supervision by using content overlap across the related web sources. Existing methods of exploiting overlap have been developed under settings that do not generalize easily to the scale and diver-sity of overlap seen on Web sources. We present an agreement-based learning framework that jointly trains the models by biasing them to agree on the agreement regions, i.e. shared text segments. We present alternatives within our framework to trade-off tractability, robustness to noise, and extent of agreement enforced; and propose a scheme of partitioning agreement regions that leads to efficient training while maximizing overall accuracy. Further, we present a principled scheme to discover low-noise agreement regions in unlabeled data across multiple sources. Through extensive experiments over 58 different extrac-tion domains, we establish that our framework provides sig-nificant boosts over uncoupled training, and scores over al-ternatives such as collective inference, staged training, and multi-view learning.

研究の動機と目的

• 異なるラベルなしウェブソース間で、部分的なコンテンツの重複を伴う低リソースなオープンドメイン情報抽出の課題に対処すること。
• 現存する手法では、現実のウェブデータの多様性に適合せずスケーリングできないという限界を克服すること。
• 豊富なラベル付きデータを必要とせずに、複数のソース間の重複を活用する共同学習フレームワークを構築すること。
• ラベルなしデータ内に低ノイズの一致領域を同定することで、モデルの頑健性と学習効率を向上させること。
• 独立した学習、集合的推論、段階的学習、マルチビュー学習に比べ、より高い抽出精度を達成すること。

提案手法

• 複数の抽出モデルが、異なるソース間の共有テキストセグメントで一貫した予測を出力するように偏りづけられるアプローチを採用する。
• トレーニング効率と性能のバランスを図るために、一致領域のパーティショニング戦略を導入し、スケーラブルな共同最適化を可能にする。
• 実行可能性、ノイズ耐性、モデル間の一致強制の範囲の間で調整可能なトレードオフを組み込む。
• ラベルなしデータ内に低ノイズの一致領域を自動的に同定する原理的枠組みを提案し、ノイズの多い教師付きデータへの依存を低減する。
• 事前学習済み抽出器や大規模ラベル付きデータセットを必要とせずに、モデルの共同学習を可能にする。
• 多様なドメインにわたる一般化を維持しながら、重複コンテンツでの一致を最大化するエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下で、複数の重複するウェブソース間で抽出モデルを共同で学習させることで、性能が顕著に向上するか？
• RQ2 ラベルなしで多様なウェブデータに存在する一致領域を効果的に同定・活用し、共同学習を支援できるか？
• RQ3 共同抽出におけるトレーニング効率、ノイズ耐性、一致強制の間にはどのようなトレードオフが存在するか？
• RQ4 集合的推論、段階的学習、マルチビュー学習と比較して、提案フレームワークの精度とスケーラビリティはどの程度優れているか？
• RQ5 オープンドメイン抽出において、大規模なラベル付きデータセットへの依存を軽減するために、ソース間の重複をどの程度活用できるか？

主な発見

• 提案フレームワークは、58の異なる抽出ドメインにおいて、独立した学習に比べ顕著な精度向上を達成した。
• 集合的推論、段階的学習、マルチビュー学習といった代替手法に比べ、精度と頑健性の両面で優れた性能を示した。
• ソース間のコンテンツ重複を活用することで、限られた教師付きデータのもとでも効果的な共同学習が可能になった。
• 一致領域のパーティショニングにより、トレーニング効率が向上し、全体の抽出精度も最大化された。
• ラベルなしデータ内に低ノイズの一致領域を同定するスキームのおかげで、モデル性能が向上し、ノイズの多いアノテーションへの感受性が低下した。
• 事前学習モデルや大規模ラベル付きデータセットを必要とせず、多様で現実のウェブソースに強く一般化する能力を示した。