[論文レビュー] Targetable Named Entity Recognition in Social Media

Sandeep Ashwini, Jinho D. Choi|arXiv (Cornell University)|Aug 4, 2014

Topic Modeling参考文献 22被引用数 6

ひとこと要約

本稿では、再訓練を要しない新規アプローチを提案し、ソーシャルメディアにおける特定のターゲット可能な固有表現（具体的には映画タイトル）を認識する。三段階のパイプライン（正規化、動的ガジェットリーを用いた候補生成、分類）を用いる。システムはドメイン内およびドメイン外のテストセットでそれぞれ76.19%および78.70%のF1スコアを達成し、再訓練なしで堅牢性と適応性を示している。

ABSTRACT

We present a novel approach for recognizing what we call targetable named entities; that is, named entities in a targeted set (e.g, movies, books, TV shows). Unlike many other NER systems that need to retrain their statistical models as new entities arrive, our approach does not require such retraining, which makes it more adaptable for types of entities that are frequently updated. For this preliminary study, we focus on one entity type, movie title, using data collected from Twitter. Our system is tested on two evaluation sets, one including only entities corresponding to movies in our training set, and the other excluding any of those entities. Our final model shows F1-scores of 76.19% and 78.70% on these evaluation sets, which gives strong evidence that our approach is completely unbiased to any par- ticular set of entities found during training.

研究の動機と目的

• ソーシャルメディアにおける頻繁に更新される、かつトレーニングデータにあまり含まれない非伝統的固有表現（例：映画タイトル）を認識する課題に対処すること。
• 従来の統計的NERモデルの限界を克服し、再訓練なしに新しいエンティティに適応できるシステムを開発すること。
• バイアスと一般化性能を評価するために、ドメイン内およびドメイン外のテストセットを用いてシステムを評価すること。
• 将来的な研究を支援するため、映画エンティティを対象とした公開可能なツイートコーパスを作成すること。
• スケーラブルで低コストなエンティティ認識を実現するため、動的ガジェットリーと擬似アノテーションの有効性を検討すること。

提案手法

• システムは、ノイズ低減のための正規化、動的ガジェットリー（映画タイトルのリスト）を用いた候補同定、統計モデルによる分類の三段階パイプラインを経てツイートを処理する。
• 正規化には、キャップスケーリング、URL/ハッシュタグの処理、省略語の展開などの語彙的・文法的変換が含まれる。
• 候補生成はガジェットリーにのみ依存しており、モデルの再訓練なしに動的更新が可能である。
• エンティティ分類には、アノテーション済みデータで学習した条件付き確率場（CRF）モデルを用い、文脈および表面形から抽出した特徴量を活用する。
• ガジェットリーは新しい映画タイトルを段階的に更新することで、未学習のエンティティを再訓練なしに認識可能にする。
• システムは二つのデータセットで評価された：一つはトレーニングセットに含まれる映画タイトルのみを含み、もう一つはそれらを除外した。これにより、一般化性能とバイアスの評価が可能になった。

実験結果

リサーチクエスチョン

• RQ1 再訓練を要しないように設計された、ソーシャルメディアにおける頻繁に更新される非伝統的エンティティ（例：映画タイトル）を認識できるNERシステムは構築可能か？
• RQ2 トレーニングデータに存在しない映画タイトルに対しても、このシステムはどの程度一般化性能を示すか？
• RQ3 静的モデルと比較して、動的ガジェットリーの使用がどれほど適応性を向上させるか？
• RQ4 ノイズの多いソーシャルメディアテキストにおける認識性能に、正規化と特徴工学の影響は何か？
• RQ5 ガジェットリーの更新のみで、未知語エンティティの認識においても高い精度とF1スコアを維持できるか？

主な発見

• ドメイン内テストセットではF1スコア76.19%を達成し、既知の映画タイトルに対して高い性能を示した。
• トレーニングセットに含まれるすべての映画タイトルを除外したドメイン外テストセットでは、F1スコア78.70%を達成し、強力な一般化性能と低いバイアスを示した。
• 再訓練なしに未学習の映画タイトルを認識しても、モデルの性能が著しく低下しなかった。これは、新規エンティティに対しても再訓練が不要であることを裏付けた。
• 正規化、ガジェットリーに基づく候補生成、CRF分類の三段階パイプラインは、効果的かつスケーラブルであることが確認された。
• 動的ガジェットリーの使用により、新規エンティティへのリアルタイムな適応が可能となり、変化するエンティティセットを有する生産環境に適したシステムとなった。
• 誤差解析の結果、83.6%の誤りが候補同定段階に起因しており、候補生成の改善の余地が示された。