[論文レビュー] Exploring the importance of context and embeddings in neural NER models for task-oriented dialogue systems

Pratik Jayarao, Chirag Jain+1 more|arXiv (Cornell University)|Dec 6, 2018

Topic Modeling参考文献 23被引用数 4

ひとこと要約

この論文は、タスク指向対話システムにおける文脈統合と事前学習埋め込みを重視しながら、最先端のニューラルNERモデルを改良して評価している。前回の発話と外部の単語/文字レベル埋め込みを組み込むことで、特に対話システムで一般的なノイズが多く、短い発話において顕著な性能向上が達成された。

ABSTRACT

Named Entity Recognition (NER), a classic sequence labelling task, is an essential component of natural language understanding (NLU) systems in task-oriented dialog systems for slot filling. For well over a decade, different methods from lookup using gazetteers and domain ontology, classifiers over handcrafted features to end-to-end systems involving neural network architectures have been evaluated mostly in language-independent non-conversational settings. In this paper, we evaluate a modified version of the recent state of the art neural architecture in a conversational setting where messages are often short and noisy. We perform an array of experiments with different combinations of including the previous utterance in the dialogue as a source of additional features and using word and character level embeddings trained on a larger external corpus. All methods are evaluated on a combined dataset formed from two public English task-oriented conversational datasets belonging to travel and restaurant domains respectively. For additional evaluation, we also repeat some of our experiments after adding automatically translated and transliterated (from translated) versions to the English only dataset.

研究の動機と目的

• タスク指向対話システムにおける名前付きエンティティ認識（NER）に、対話文脈と事前学習埋め込みが与える影響を調査すること。
• 発話が短くノイズが多い状況下で、従来の非対話的設定とは異なる会話的環境におけるニューラルNERモデルの評価を行うこと。
• 大規模コーパスで事前学習された外部の単語および文字レベル埋め込みを、対話文脈特徴と組み合わせて効果的に活用する方法の有効性を評価すること。
• 自動翻訳および表音変換された英語コーパスを含む多言語データを用いて、モデルの頑健性を検証すること。
• 現実的な対話NLUパイプラインにおける特徴量の寄与度を包括的に分析するアブレーションスタディを提供すること。

提案手法

• 最近の最先端のニューラルNERアーキテクチャを対話システムに適応させ、逐次的な対話文脈を処理できるように変更した。
• 短く曖昧な発話においてエンティティ認識を向上させるために、対話内の前回発話を追加の文脈特徴として統合した。
• 大規模な外部コーパスで事前学習された単語および文字レベル埋め込みを用いて、稀な語または未知語（OOV）の表現学習を強化した。
• 2つの公開された英語のタスク指向対話コーパス（旅行および飲食店ドメイン）を統合したデータセットを用いてモデルを訓練および評価した。
• 文脈および埋め込みタイプの異なる組み合わせを変化させることでアブレーションスタディを実施し、それぞれの寄与度を特定した。
• 英語のみのデータセットに自動翻訳および表音変換されたバージョンを追加した上で、主要な実験を繰り返し、多言語一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 前回の発話を文脈として組み込むことで、短くノイズの多い対話発話におけるNER性能にどのような影響を与えるか？
• RQ2 事前学習された単語および文字レベル埋め込みは、リソースが限られた対話環境において、どれほどNERの正確性を向上させるか？
• RQ3 全体のモデル性能において、対話文脈と事前学習埋め込みの相対的な寄与度はどの程度か？
• RQ4 翻訳および表音変換された発話を含む多言語データに対して、モデルの改善効果はどの程度頑健か？
• RQ5 ドメイン固有の微調整なしに、提案アーキテクチャが旅行および飲食店ドメインなど、複数のドメインに一般化可能か？

主な発見

• 前回の発話を文脈として組み込むことで、曖昧または文脈依存性の高いエンティティの認識性能が顕著に向上した。
• 事前学習された単語および文字レベル埋め込みの使用により、F1スコアに測定可能な向上が見られ、特に稀な語やOOVエンティティに対して顕著だった。
• 対話文脈と事前学習埋め込みの組み合わせが最高の性能を達成し、これらの特徴を備えていないベースラインモデルと比較して、F1スコアで5%以上の相対的向上が得られた。
• 自動翻訳および表音変換された発話を含む多言語データに対しても、モデルは強力な性能を維持しており、言語のバリエーションにわたる良好な一般化性能を示した。
• アブレーションスタディにより、文脈と埋め込みの両方が独立してかつ相乗的に、ノイズが多く短い発話環境におけるモデルの頑健性に寄与することが確認された。
• 提案アーキテクチャは、統合された旅行および飲食店対話コーパスにおいて最先端の性能を達成し、ドメイン固有およびクロスドメインの両設定で、以前の手法を上回った。