[論文レビュー] Joint Structured Models for Extraction from Overlapping Sources

Rahul Gupta, Sunita Sarawagi|arXiv (Cornell University)|May 1, 2010

Topic Modeling参考文献 17被引用数 11

ひとこと要約

本稿では、重複するテキストソース上で複数の構造的モデルを共同で学習するための同意ベースの学習フレームワークを提案する。クライクと位置に対する分解された同意目的関数を用いることで、ノイズに強く、学習効率の高いモデルを実現する。58の実世界のデータセットにおいて、クライク・レベルおよびノード・レベルの同意モデルが、統合的またはマルチビュー的手法を上回る精度と速度を達成していることを示している。

ABSTRACT

We consider the problem of jointly training structured models for extraction from sources whose instances enjoy partial overlap. This has important applications like user-driven ad-hoc information extraction on the web. Such applications present new challenges in terms of the number of sources and their arbitrary pattern of overlap not seen by earlier collective training schemes applied on two sources. We present an agreement-based learning framework and alternatives within it to trade-off tractability, robustness to noise, and extent of agreement. We provide a principled scheme to discover low-noise agreement sets in unlabeled data across the sources. Through extensive experiments over 58 real datasets, we establish that our method of additively rewarding agreement over maximal segments of text provides the best trade-offs, and also scores over alternatives such as collective inference, staged training, and multi-view learning.

研究の動機と目的

• 限られたラベル付きデータと任意の重複パターンを有する複数の重複するテキストソース上で、複数の構造的モデルを学習する課題に対処すること。
• 最大20件までの多くのソース間で部分的な重複を活用できるスケーラブルで耐障害性の高い集合的学習フレームワークを構築すること。
• ラベルなしの重複コンテンツから、高品質で低ノイズのクライクを同定することで、同意集合内のノイズを低減すること。
• 単一、グループ化、グローバルな同意目的関数の間のトレードオフを、精度、耐障害性、計算の実行可能性の観点から比較・評価すること。
• クライクと位置に対する分解された同意が、統合的またはマルチビュー学習手法に比べて優れた性能を発揮することを確立すること。

提案手法

• 重複するコンテンツ・セグメント（クライク）における同意尤度を最大化することで、複数の構造的モデルを共同で学習する同意ベースの学習フレームワークを提案する。
• 各ソースに対して特徴ベクトルとパラメータを用いた確率的モデルを定義し、共有インスタンスにおける複数ソース間の同意を組み込んだ結合尤度を導入する。
• ノイズを低減するためのクライクベースの同意集合計算戦略を導入し、任意のユニグラム繰り返しによるノイズを位置レベルで5.6%まで低下させ、同意品質を著しく向上させた。
• 各クライクまたは個々の位置を独立した同意ユニットとして扱う分解された同意目的関数を採用し、ノイズのあるクライクに対しても耐障害性を確保する。
• EMベースの代替手法と対照的に、尤度目的関数の効率的最適化に勾配上昇法を用いる。
• 複数の同意戦略（クライクレベル、ノードレベル（位置ごと）、統合的グローバルグラフ近似）を評価し、ノイズと最適化品質に関するアブレーションを実施した。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータと任意の重複パターンを有する複数の重複するテキストソース上で、構造的モデルをどのように共同で学習できるか？
• RQ2 精度と耐障害性を最大化するための最適な同意単位（例：シングルトン、連続セグメント、グローバルグラフ）は何か？
• RQ3 同意集合内のノイズがモデル性能に与える影響は何か？また、真値が得られない状況でも効果的にノイズを低減できるか？
• RQ4 分解された同意目的関数は、統合的またはマルチビュー学習に比べて、精度、速度、ノイズに対する耐障害性においてどのように異なるか？
• RQ5 最適化手法（勾配ベース対EM）が学習効率と最終的なモデル性能に与える影響は何か？

主な発見

• CliqueおよびNodeの同意モデルは、58の実世界データセットにおいて、集合的推論、段階的学習、マルチビュー学習を上回る最高のF1精度を達成した。
• クライクと位置に分解された同意目的関数は、誤ったクライクに敏感な統合的グラフ近似よりも、ノイズのあるクライクに対してより耐障害性が高い。
• 提案されたクライク生成法により、位置レベルのノイズを17.3%（ナーブなユニグラム法）から5.6%まで低減し、ノイズなしクライクに近い精度を達成した。
• ノードレベルの同意は、クライクを個々の位置に分解するため、誤った位置を最適化中に無視することで、高ノイズ環境下でCliqueレベルの同意を上回った。
• 尤度目的関数の勾配ベース学習は、EMベースの学習よりも4倍以上高速であり、F1精度の低下もわずか0.4%にとどまった。
• 不正確な勾配計算が、複雑な統合手法の性能劣化の主な要因であることが、ノイズのあるクライクを含む・含まないのアブレーションで示された。