[論文レビュー] Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding

Brian Lester, Daniel Pressel+2 more|arXiv (Cornell University)|Jan 4, 2020

Topic Modeling被引用数 4

ひとこと要約

この論文では、複数の事前学習済み埋め込みを連結して入力表現とし、交差エントロピー損失で訓練されたモデルに制約付きデコードを適用することで、コンテキスト埋め込みベースのベースラインと比較して786%の高速化を達成しながら、複数のデータセットおよびタスクで優れた性能を維持する計算効率の良いNERタッカーを提案する。

ABSTRACT

Current State-of-the-Art models in Named Entity Recognition (NER) are neural models with a Conditional Random Field (CRF) as the final network layer, and pre-trained "contextual embeddings". The CRF layer is used to facilitate global coherence between labels, and the contextual embeddings provide a better representation of words in context. However, both of these improvements come at a high computational cost. In this work, we explore two simple techniques that substantially improve NER performance over a strong baseline with negligible cost. First, we use multiple pre-trained embeddings as word representations via concatenation. Second, we constrain the tagger, trained using a cross-entropy loss, during decoding to eliminate illegal transitions. While training a tagger on CoNLL 2003 we find a $786$\\% speed-up over a contextual embeddings-based tagger without sacrificing strong performance. We also show that the concatenation technique works across multiple tasks and datasets. We analyze aspects of similarity and coverage between pre-trained embeddings and the dynamics of tag co-occurrence to explain why these techniques work. We provide an open source implementation of our tagger using these techniques in three popular deep learning frameworks --- TensorFlow, Pytorch, and DyNet.

研究の動機と目的

• コンテキスト埋め込みとCRF層に依存する最先端のNERモデルの計算コストを低減すること。
• トレーニングの複雑さを増さずに、シンプルで効率的な技術を用いてNERの性能を向上させること。
• 複数の事前学習済み埋め込みを組み合わせることで表現品質と一般化性能が向上するかどうかを検証すること。
• CRFを用いない状況でも、制約付きデコードがラベルの一貫性を効果的に保証できるかどうかを評価すること。
• 広範な採用を促進するため、フレームワークに依存しないオープンソース実装を提供すること。

提案手法

• 各トークンの入力表現として、複数の事前学習済みコンテキスト埋め込み（例：BERT、ELMo）を連結すること。
• CRF層を排除して交差エントロピー損失でシーケンスタッカーを訓練することで、計算オーバーヘッドを低減すること。
• 不正なラベル遷移を排除するため、デコード時に遷移制約行列を適用し、グローバルなラベル整合性を確保すること。
• 制約付き遷移を用いた動的計画法により、予測を効率的にデコードすること。
• CoNLL 2003および他のデータセットでモデルを評価し、性能と速度を測定すること。
• 再現性および統合を可能にするために、TensorFlow、PyTorch、DyNetでのオープンソース実装を提供すること。

実験結果

リサーチクエスチョン

• RQ1 複数の事前学習済み埋め込みを組み合わせることで、計算コストを最小限に抑えつつNERの性能が向上するか？
• RQ2 交差エントロピーで訓練されたタッカーに制約付きデコードを適用することで、CRF層と同等のラベル一貫性が達成できるか？
• RQ3 複数の埋め込みの組み合わせが、ラベルカバレッジおよび表現類似度に与える影響は何か？
• RQ4 性能を損なわず、どの程度の高速化が達成可能か？
• RQ5 提案手法が、異なるNERデータセットおよびタスクにわたって一般化可能か？

主な発見

• 提案手法は、CoNLL 2003データセットにおいて、コンテキスト埋め込みベースのタッカーに比べて786%の高速化を達成した。
• 提案手法の性能は、CoNLL 2003および他のデータセットにおいて、CRFベースの強力なベースラインを上回るか同等の水準に達した。
• 複数の事前学習済み埋め込みを連結することで、多様なNERタスクにおける表現品質と一般化性能が向上した。
• 制約付きデコードは、性能に損なわれることなく、CRF層の必要性を代替する有効な手段であった。
• 本手法は、複数のデータセットおよびタスクにおいて、頑健で移行性に優れた性能を示した。
• TensorFlow、PyTorch、DyNetでのオープンソース実装により、広範な採用と統合が可能になった。