[論文レビュー] Effective Slot Filling Based on Shallow Distant Supervision Methods

Benjamin Roth, Tassilo Barth+3 more|arXiv (Cornell University)|Jan 6, 2014

Natural Language Processing Techniques参考文献 8被引用数 33

ひとこと要約

この論文では、浅い遠隔教師あり学習を用いてTAC KBP 2013スロットフィリングトラックで最先端の性能を達成するエンドツーエンドの関係抽出システム、RelationFactoryを提示する。表面スキップn-gram、遠隔教師あり学習のパターンに対する最適化スコアリング、Wikipediaを用いたクエリ拡張を活用することで、同一の学習データを用いた前回のバージョンよりも著しく向上し、F1スコア37.3%を達成した。

ABSTRACT

Spoken Language Systems at Saarland University (LSV) participated this year with 5 runs at the TAC KBP English slot filling track. Effective algorithms for all parts of the pipeline, from document retrieval to relation prediction and response post-processing, are bundled in a modular end-to-end relation extraction system called RelationFactory. The main run solely focuses on shallow techniques and achieved significant improvements over LSV's last year's system, while using the same training data and patterns. Improvements mainly have been obtained by a feature representation focusing on surface skip n-grams and improved scoring for extracted distant supervision patterns. Important factors for effective extraction are the training and tuning scheme for distant supervision classifiers, and the query expansion by a translation model based on Wikipedia links. In the TAC KBP 2013 English Slotfilling evaluation, the submitted main run of the LSV RelationFactory system achieved the top-ranked F1-score of 37.3%.

研究の動機と目的

• 遠隔教師あり学習を用いて、オープンドメインの関係抽出におけるスロットフィリング性能を向上させること。
• ドキュメント検索、関係予測、応答の後処理を統合したモジュラーでエンドツーエンドのシステムを構築すること。
• 遠隔教師あり学習における特徴表現とスコアリングを向上させ、関係抽出の正確性を高めること。
• Wikipediaのリンクを用いたクエリ拡張により、パターンの再現率と一般化能力を向上させることの検討。
• TAC KBP 2013英語スロットフィリング評価で最高のパフォーマンスを達成すること。

提案手法

• システムは、知識ベースとテキストコーパスから自動的に学習インスタンスを生成するため、浅い遠隔教師あり学習を採用する。
• 表面スキップn-gramを主な特徴表現として用い、潜在的な関係の周囲の局所的な文法的・意味的文脈を捉える。
• 信頼性と一貫性に基づいて、遠隔教師あり学習のパターンをランク付けおよびフィルタリングするための専用スコアリング機構を適用する。
• クエリ拡張はWikipediaのリンクを用いて実施され、クエリ空間を拡充し、パターンの再現率を向上させる。
• 遠隔教師あり学習分類器のための学習およびチューニングスキームを最適化し、一般化性能を向上させるとともにノイズを低減する。
• パイプラインは、ドキュメント検索、関係予測、および後処理を統合したモジュラーなアーキテクチャ、RelationFactoryとして実装される。

実験結果

リサーチクエスチョン

• RQ1 表面スキップn-gramを用いた浅い遠隔教師あり学習は、オープンドメインの関係抽出におけるスロットフィリング性能を向上させることができるか？
• RQ2 Wikipediaのリンクを用いたクエリ拡張は、遠隔教師あり学習のパターンの再現率と適合率にどのように影響するか？
• RQ3 最適化されたスコアリングと特徴表現は、遠隔教師あり学習分類器のパフォーマンスにどのような影響を及ぼすか？
• RQ4 同じ学習データを用いた場合、モジュラーなエンドツーエンドシステムは、従来のシステムをどれほど上回ることができるか？
• RQ5 TAC KBP 2013スロットフィリング評価でF1スコアが向上した要因として、最も顕著に寄与した要因は何か？

主な発見

• RelationFactoryシステムのメイン実行では、TAC KBP 2013英語スロットフィリング評価で最高のF1スコア37.3%を達成した。
• 同じ学習データとパターンを用いても、前年のLSVシステムを著しく上回った。
• 表面スキップn-gramに基づく特徴表現が、関係検出の正確性向上に顕著な貢献をした。
• 遠隔教師あり学習のパターンに対するスコアリングの改善により、ノイズが多いまたは誤った関係のフィルタリングが効果的に行われた。
• Wikipediaのリンクを用いたクエリ拡張により、関係抽出パターンのカバレッジと頑健性が向上した。
• 遠隔教師あり学習分類器のための学習およびチューニングスキームが、高いパフォーマンスを達成する上で重要な要因となった。