[論文レビュー] USFD at KBP 2011: Entity Linking, Slot Filling and Temporal Bounding

Amev Burman, Arun Jayapal+5 more|arXiv (Cornell University)|Mar 22, 2012

Topic Modeling参考文献 15被引用数 14

ひとこと要約

本論文は、2011年TAC KBP評価におけるシェフィールド大学の出場作品を提示しており、単語言語のエンティティリンク、スロットフィリング、時系列スロットフィリングに焦点を当てている。本システムは、Lucene検索による候補生成、スコア閾値と信頼度の差を用いたNIL予測、TimeMLアノテーションと時系列クロージャを用いた時系列境界特定を含むデータ駆動型手法を採用し、時系列スロットフィリングで重み付きF1スコア0.552を達成した。

ABSTRACT

This paper describes the University of Sheffield's entry in the 2011 TAC KBP entity linking and slot filling tasks. We chose to participate in the monolingual entity linking task, the monolingual slot filling task and the temporal slot filling tasks. We set out to build a framework for experimentation with knowledge base population. This framework was created, and applied to multiple KBP tasks. We demonstrated that our proposed framework is effective and suitable for collaborative development efforts, as well as useful in a teaching environment. Finally we present results that, while very modest, provide improvements an order of magnitude greater than our 2010 attempt.

研究の動機と目的

• 教育・研究環境における知識ベース構築タスクのスケーラブルで協働的なフレームワークの開発を目的とする。
• 単語言語テキストにおける名前付きエンティティの曖昧さ、NILの表記、時系列スロットフィリングの課題に対処することを目的とする。
• データ駆動型技術と言語処理ツールを活用することで、前回（2010年）の研究を上回る性能を実現することを目的とする。
• NILリンクされた表記の有効なクラスタリングと、スロットフィラーの正確な時系列境界特定を可能とすることを目的とする。
• エンティティリンク、スロットフィリング、時系列推論の複数のNLPモジュールを統合した統一パイプラインの実現可能性を示すこと

提案手法

• 候補生成には、KBノード、タイトル、ウィキテキストのLuceneインデックス化を用い、Wikipediaの名前バリエーションとStanford NERからの名前付きエンティティ表記を用いたクエリ拡張を実施する。
• NIL予測には2つの戦略を採用する：スコアが閾値αを超える場合、最もスコアの高い候補を選択する。または、上位2位のスコア差を閾値βと比較する。
• スロットフィリングには、TimeMLアノテート済みデータからの表面特徴を用いた教師あり分類器を採用し、NLTKを用いて特徴抽出を実施する。
• 時系列境界特定には、TimeMLイベントおよびタイムエクスプレッション（timex）アノテーションを活用し、CAVaTを用いた点的時系列クロージャを適用して、イベント持続時間に基づく開始・終了境界を推定する。
• 時系列推論では、4つの境界を計算する：イベント開始前での最新のtimex、開始後の最早期のtimex、終了前の最新のtimex、終了後の最早期のtimex。
• timexの分解能が1日を超える場合は、カレンダー参照を解決する。季節的境界は、北半球の4つの3か月間の季節に近似して処理する。

実験結果

リサーチクエスチョン

• RQ1 教育環境において、KBPタスクのためのデータ駆動型で協働的なNLPパイプラインを効果的に構築・展開する方法は何か？
• RQ2 エンティティリンクにおけるNIL予測性能を最適化するための閾値戦略（αおよびβ）は何か？
• RQ3 名前バリエーションおよび共起する名前付きエンティティを用いたクエリ拡張は、候補の再現率向上にどの程度効果的か？
• RQ4 自動アノテートされたTimeMLと時系列クロージャを用いることで、時系列境界特定の性能はどの程度向上できるか？
• RQ5 統一フレームワークにより、エンティティリンク、スロットフィリング、時系列推論を統合し、前回の研究を上回る測定可能な性能向上を達成できるか？

主な発見

• 本システムは、時系列スロットフィリングタスクで重み付きF1スコア0.552を達成し、2010年のベースラインと比較して顕著な向上を示した。
• 上位2位のスコア差（β）を用いたNIL予測器は、TAC 2011テストセットで精度54.69%、再現率31.14%を達成した。
• 最もスコアの高い候補を選択する戦略（α）は、TAC 2011テストセットで精度74.83%、F1スコア70.64%を達成した。
• スロットタイプの分布から、訓練データおよびサンプルデータにおいて、per:cities_of_residence（14件）およびper:countries_of_residence（11件）が最も頻出していることが判明した。
• 時系列推論パイプラインは、1イベントあたり4つの時系列境界を正しく計算でき、必要に応じて暦日付または季節的近似にまで分解能を設定した。
• 本フレームワークは、NLP経験のないMSc学生が研究水準のシステムに意味のある貢献を可能にするという点で、協働的開発および教育的応用において有効であることが実証された。