[論文レビュー] SlugNERDS: A Named Entity Recognition Tool for Open Domain Dialogue Systems

Kevin K. Bowden, Jiaqi Wu+3 more|arXiv (Cornell University)|May 9, 2018

Topic Modeling被引用数 16

ひとこと要約

SlugNERDS は、粗いエンティティタイプとオントロジー整合性の欠如という課題に応えるために、オープンドメイン対話システム向けに設計された名前付きエンティティ抽出およびリンク手法である。Schema.org のエンティティタイプを活用し、エンティティ分類と文脈的リンクの両方を向上させるために、2 つの新規リソースである SlugEntityDB と SchemaActuator を導入した。これにより、従来の NER システムと比較して、多様で現実世界の対話において高い正確性を達成した。

ABSTRACT

In dialogue systems, the tasks of named entity recognition (NER) and named entity linking (NEL) are vital preprocessing steps for understanding user intent, especially in open domain interaction where we cannot rely on domain-specific inference. UCSC's effort as one of the funded teams in the 2017 Amazon Alexa Prize Contest has yielded Slugbot, an open domain social bot, aimed at casual conversation. We discovered several challenges specifically associated with both NER and NEL when building Slugbot, such as that the NE labels are too coarse-grained or the entity types are not linked to a useful ontology. Moreover, we have discovered that traditional approaches do not perform well in our context: even systems designed to operate on tweets or other social media data do not work well in dialogue systems. In this paper, we introduce Slugbot's Named Entity Recognition for dialogue Systems (SlugNERDS), a NER and NEL tool which is optimized to address these issues. We describe two new resources that we are building as part of this work: SlugEntityDB and SchemaActuator. We believe these resources will be useful for the research community.

研究の動機と目的

• オープンドメイン対話における既存 NER システムの欠陥、特に粗いエンティティラベル付けと意味的オントロジー統合の欠如を是正すること。
• Schema.org を共有分類体系として用い、細粒度で意味的に意味のあるエンティティ分類を可能にするシステムの開発。
• 対話レベルのエンティティタイプとアクションからタイプへのマッピングを備えた、2 つの新規リソース（SlugEntityDB と SchemaActuator）の作成および公開。
• 話の流れに沿ったエンティティリンクと文脈的曖昧除去を可能にすることで、対話理解の向上。
• 現実世界の対話における課題、例えば大文字・小文字の誤り、曖昧なエンティティ参照、知識グラフのカバー範囲不足に対処すること。

提案手法

• システムは、ルールベースと学習ベースのコンponentを組み合わせ、Schema.org で定義されたタイプ（例：Movie、Person、SportsTeam）を用いて名前付きエンティティを検出・分類する。
• SlugNERDS は、話の流れに沿った代名詞解決（アナフォラ解決）を組み込み、'he' などの代名詞を以前に登場したエンティティに正しく関連付けることで、文脈的一致性を向上させる。
• エンティティリンクには Google Knowledge Graph を活用し、ユーザー入力における大文字・小文字や句読点の変種に対応するためのクエリ最適化を実施する。
• ユーザーの行動（例：'watched'、'saw'、'read'）を対応するエンティティタイプにマッピングする SchemaActuator を導入し、意図検出を強化する。
• SlugEntityDB は、10,000 件を超える実際のユーザー対話データから構成され、細粒度の Schema.org エンティティタイプと文脈的関係がアノテーション済みの新規コーパスである。
• システムは、Slugbot ソーシャルボットから得た実際の会話データを用いて訓練および評価され、入力テキスト品質とエンティティリンクの正確性の面で段階的な改善が行われた。

実験結果

リサーチクエスチョン

• RQ1 エンティティタイプが多様かつ文脈依存的なオープンドメイン対話システムにおいて、名前付きエンティティ抽出をどのように改善できるか？
• RQ2 Schema.org エンティティタイプは、オープンドメイン会話における NER の正確性と意味的豊かさをどの程度向上できるか？
• RQ3 ユーザーが急激に話題を変更する場合や代名詞を使用する場合に、話の流れに沿ったアナフォラ解決はエンティティリンクの正確性を向上させ得るか？
• RQ4 入力品質の問題（例：句読点の欠落、大文字・小文字の誤り）は、エンティティ抽出およびリンク性能にどのように影響を与えるか？
• RQ5 既存の NER および NEL システムがオープンドメイン対話に適用された際の主な失敗モードは何か？ それらはどのように緩和できるか？

主な発見

• SlugNERDS は、従来の NER システムと比較して、PERSON や ORGANIZATION といった粗いカテゴリではなく、細粒度の Schema.org エンティティタイプを用いることで、オープンドメイン対話において顕著に優れた性能を示した。
• SchemaActuator の導入により、ユーザーの行動（例：'read' → BookSeries）に基づいてエンティティタイプを正しく特定できるようになった。これにより、意図検出とフォローアップ質問の質が向上した。
• 話の流れに沿ったアナフォラ解決により、話題の変更があっても 'he' などの代名詞を正しくその先行語に結びつけることができ、文脈理解が向上した。
• クエリ正規化とヒューリスティックマッチング戦略を用いることで、入力ノイズ（例：大文字・小文字の欠落、句読点の欠落）に対しても高い耐性を示した。
• 「Sacramento Airport」と「Sacramento International Airport」の間で生じる曖昧さといった、一般的なエンティティリンクの誤りは、文脈的および地理的情報を統合することで低減された。
• これらの改善にもかかわらず、Google Knowledge Graph に存在しないエンティティ（例：ビデオゲーム機器、オペレーティングシステム）の解決には課題が残っており、より包括的な知識ベースの必要性が浮き彫りになった。