[論文レビュー] Named Entity Recognition with Extremely Limited Data

John F. Foley, Sheikh Muhammad Sarwar+1 more|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 22被引用数 11

ひとこと要約

本稿では、極めて限られたラベル付きデータを扱うために、名前付きエンティティ認識（NER）をクエリ時間の検索タスクとして扱うNamed Entity Search（NES）を提案する。トークンを文書としてモデル化し、手動で作成した特徴量をクエリ語として用いることで、最小限の学習データで高い効果を発揮する。これにより、標準的な検索エンジンを用いて、レアまたはニッチなエンティティクラスのインタラクティブで効率的なエンティティ検出が可能になる。

ABSTRACT

Traditional information retrieval treats named entity recognition as a pre-indexing corpus annotation task, allowing entity tags to be indexed and used during search. Named entity taggers themselves are typically trained on thousands or tens of thousands of examples labeled by humans. However, there is a long tail of named entities classes, and for these cases, labeled data may be impossible to find or justify financially. We propose exploring named entity recognition as a search task, where the named entity class of interest is a query, and entities of that class are the relevant "documents". What should that query look like? Can we even perform NER-style labeling with tens of labels? This study presents an exploration of CRF-based NER models with handcrafted features and of how we might transform them into search queries.

研究の動機と目的

• 極めて限られたラベル付きデータを有する、まれなまたはニッチなエンティティクラスの名前付きエンティティ認識（NER）の課題に対処すること。
• 数千ものアノテート済み例が必要とされる従来のNERモデルの限界を克服すること。これは、長尾エンティティタイプにおいてしばしば現実的でない。
• 各新しいエンティティクラスに対して事前学習された分類器を必要としない、インタラクティブでクエリ時間のアプローチをNERに適用すること。
• 専門家ユーザーが事前のモデル学習なしに、「地中海の島々」や「タバコのブランド」のようなエンティティを動的に検出できることを可能にすること。
• わずか数十例のラベル付き例しか存在しない状況でも、検索エンジンを用いてエンティティクラスのクエリに基づきトークンをランク付けする方法の実現可能性と有効性を示すこと。

提案手法

• コーパス内の各トークンを文書として扱い、その特徴（例：品詞、語彙的形状、n-gram）を検索インデックス内の語として表現する。
• 語彙的形状、品詞タグ、Brownクラスターエンベッディングなどの手動特徴量を組み合わせることで、エンティティクラス用のクエリを構築する。
• CRFベースのNERモデルをベースラインとし、その特徴セットを検索モデルに変換。特徴の重みがクエリ語の重みに相当する。
• 標準的な情報検索技術（例：BM25）を用いて、特定のエンティティクラスのクエリに対してトークンの関連性スコアを算出する。
• 効率性を向上させるために、最も情報量の多い特徴（例：上位1000個）のみを選択することでモデルサイズを制限する。性能の著しい低下を伴わず、効率的な運用が可能になる。
• アクティブラーニングに類似したインタラクションを採用：ユーザーはランク付けされた結果に基づきクエリを段階的に改善することで、スパースなエンティティクラスの探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 CRFベースのNERモデルに手動特徴量を組み込んだ場合、トークンを文書として扱う検索モデルに効果的に変換できるか？
• RQ2 わずか数例のラベル付き例しか存在しない状況でも、ユーザーとのインタラクションに適したトークンの適切なランク付けが可能か？
• RQ3 NERモデルを検索エンジンで効率的に実行できるほど小さくできるか？ ただし、有効性を損なわないように。
• RQ4 このアドホックで検索ベースのNER設定において、どの手動特徴量が最も効果的か？

主な発見

• 1000個の特徴に制限されたモデルでも、フルモデルとほぼ同等の性能を達成しており、モデル圧縮が有効性に顕著な悪影響を及ぼさないことを示している。
• 最大500のクエリ語に対しては実行時間が1秒未塔であり、5000語に対しても10分未塔に収まるため、インタラクティブ利用に実用的である。
• QA-Listデータセットにおいて最も優れた特徴は「右隣の語」、「左隣の語」、「文字n-gram」、「語彙的形状」、および「Brownクラスターエンベッディング」であった。
• QA-Listデータセットにおいて、インタラクティブなアプローチと不確実性ベースラインの両方が同等の有効性を示しており、稀で複雑なエンティティクラスに対しても本手法の妥当性が裏付けられた。
• ダウンサンプルされたモデルの学習曲線は、フルモデルとほとんど区別できず、わずか数百分のインタラクションで高い性能に到達できることを示している。
• 本システムは、数百のキーフィーチャーを用いて、AQUAINTコーパス全体を数分間のCPU時間で処理可能である。一方、従来のCRF学習では数時間かかっていた。