[論文レビュー] DefExt: A Semi Supervised Definition Extraction Tool

Luis Espinosa-Anke, Roberto Carlini+2 more|arXiv (Cornell University)|Jun 8, 2016

Natural Language Processing Techniques参考文献 13被引用数 5

ひとこと要約

DefExt は、ブートストラップを用いて段階的に定義抽出を改善する条件付きランダムフィールド（CRF）モデルを用いた半教師あり定義抽出ツールである。200イテレーション後、MSR-NLPテストセットではFスコア77.44、W00セットでは71.85を達成し、従来の用語集からの情報にとどまらず、非標準的なテキストにも高いカバレッジと適応性を示した。

ABSTRACT

We present DefExt, an easy to use semi supervised Definition Extraction Tool. DefExt is designed to extract from a target corpus those textual fragments where a term is explicitly mentioned together with its core features, i.e. its definition. It works on the back of a Conditional Random Fields based sequential labeling algorithm and a bootstrapping approach. Bootstrapping enables the model to gradually become more aware of the idiosyncrasies of the target corpus. In this paper we describe the main components of the toolkit as well as experimental results stemming from both automatic and manual evaluation. We release DefExt as open source along with the necessary files to run it in any Unix machine. We also provide access to training and test data for immediate use.

研究の動機と目的

• ドメイン固有のコーパスにおける自動定義抽出を可能にする、アクセス可能でオープンソースのツールの開発。
• 弱い教師信号と反復学習を活用することで、手作業で整備された用語集への依存を低減すること。
• 学術的・技術的文書に見られるようなノイズが多く、非標準的なテキストにおける定義抽出の改善。
• 用語集作成、ハイパニム抽出、知識ベース生成などの下流NLPタスクを支援すること。
• 事前にアノテート済みのデータセットを備えた、再利用可能でUnix互換のツールキットを提供し、即時利用を可能にすること。

提案手法

• DefExt は、文単位のシーケンスラベル付けに条件付きランダムフィールド（CRF）モデルを用い、文に定義が含まれるか否かを分類する。
• 前回のイテレーションで得られた高信頼度の予測を再利用するブートストラップ機構を用いて、反復的にモデルを再訓練する。
• 言語的特徴（品詞、語形素還元、句構造的依存関係）、用語的特徴（定義語と定義語の位置）、統計的用語度指標を含む。
• システムはカラムベースのフォーマットで入力を処理し、各行が1語を表し、各列が1つの特徴を示し、最後にDEFまたはNODEFのラベルが付く。
• 学習はシードデータセット（WCL d）から開始され、ブートストラップによりACL-ARC dコーパスからの予測を用いて学習データを拡充する。
• ツールキットはCRF++のラッパーとして実装されており、外部のPythonライブラリを必要とせず、CRF++のみを依存関係として持つ。

実験結果

リサーチクエスチョン

• RQ1 半教師ありのブートストラップ手法は、ドメイン固有で非標準的なテキストにおける定義抽出性能を向上させることができるか？
• RQ2 高信頼度の予測を用いた反復的精錬は、モデルの一般化性能とカバレッジにどのように影響するか？
• RQ3 DefExt は、ACLアーカイブのようなノイズが多く、現実世界の学術的コーパスにおいて、どれほど定義を検出できるか？
• RQ4 標準的なコーパスにおける性能と、より多様なドメイン固有のテキストにおける性能の違いは何か？
• RQ5 人間の評価者たちは、ノイズが多く、現実世界の文脈における真の定義と誤検出を信頼性を持って区別できるか？

主な発見

• 200回のブートストラップイテレーション後、DefExt は MSR-NLP テストセットで F スコア 77.44、W00 テストセットで 71.85 を達成し、多様なコーパスにおいて優れた性能を示した。
• 非標準的なテキストにおけるカバレッジが向上し、WordNet や Wikipedia の定義のみで学習したシステムよりも優れた性能を示した。
• 人間評価では、ノイズのない文では精度が 0.65 を達成したが、200文のうち23文がフォーマットのノイズにより読みにくかった。
• 標準的な言語（W00）では性能が時間経過とともに低下した一方、より多様なテキスト（MSR-NLP）では性能が向上したため、ブートストラップによるドメイン適応が示された。
• システムはノイズに対して頑健であり、元のフォーマットや数式が保持されており、人間の評価者にとっても文脈的ヒントを提供した。
• リリースされたツールキットには、事前にアノテート済みのコーパス（WCL d および ACL-ARC d）が含まれており、あらゆるUnixシステムと互換性があり、即時展開が可能である。