[論文レビュー] A Survey on Recent Advances in Sequence Labeling from Deep Learning Models

Zhiyong He, Zanbo Wang+4 more|arXiv (Cornell University)|Nov 13, 2020

Topic Modeling参考文献 126被引用数 16

ひとこと要約

本サーベイは、深層学習に基づく系列ラベル付けモデルについて包括的なレビューを提供し、埋め込み、文脈符号化、推論モジュールの3軸に沿って体系的に分類している。CoNLL-2003などの標準データセット上で最先端のモデルを分析し、性能に影響する要因を特定し、低リソース環境、スケーラビリティ、外部リソース統合の分野における今後の研究方向性を提示しており、NLP分野の研究者にとって基盤的な参考文献を提供する。

ABSTRACT

Sequence labeling (SL) is a fundamental research problem encompassing a variety of tasks, e.g., part-of-speech (POS) tagging, named entity recognition (NER), text chunking, etc. Though prevalent and effective in many downstream applications (e.g., information retrieval, question answering, and knowledge graph embedding), conventional sequence labeling approaches heavily rely on hand-crafted or language-specific features. Recently, deep learning has been employed for sequence labeling tasks due to its powerful capability in automatically learning complex features of instances and effectively yielding the stat-of-the-art performances. In this paper, we aim to present a comprehensive review of existing deep learning-based sequence labeling models, which consists of three related tasks, e.g., part-of-speech tagging, named entity recognition, and text chunking. Then, we systematically present the existing approaches base on a scientific taxonomy, as well as the widely-used experimental datasets and popularly-adopted evaluation metrics in the SL domain. Furthermore, we also present an in-depth analysis of different SL models on the factors that may affect the performance and future directions in the SL domain.

研究の動機と目的

• 埋め込み、文脈符号化、推論モジュールの3つのコアコンponentにわたる深層学習モデルの体系的かつ科学的ベースの分類法を提供すること。
• CoNLL-2003 などの広く使われているベンチマークで、命名エンティティ認識（NER）、品詞タグ付け、テキストチャンキングの分野における最先端モデルの要約と比較を行うこと。
• アーキテクチャ設計、外部リソースの使用、データ不足といった、モデル性能に影響を与える要因を分析すること。
• 低リソース環境、モデルのスケーラビリティ、外部知識ソースの有効統合における未解決の課題と今後の研究方向性を特定すること。
• 深層学習に基づく系列ラベル付け分野に新たに参入する研究者・実務家にとって、包括的かつ最新の参考文献を提供すること。

提案手法

• 本サーベイは、埋め込みモジュール（例：単語、文字、サブワード埋め込み）、文脈エンコーダーモジュール（例：BiLSTM、CNN、Transformer）、推論モジュール（例：CRF、CRFフリーのヘッド）の3軸に沿って、既存の深層学習モデルを分類している。
• NER用にCoNLL-2003、チャンキング用にCoNLL-2000、品詞タグ付け用にCoNLL-2003といった標準データセットを用い、F1スコアや正答率といった標準指標でモデルを評価している。
• 地名帳や大規模事前学習コーパスといった外部リソースの有無にかかわらずのモデル性能を比較分析している。
• 長距離タグ依存関係をモデル化するタグ-LSTM や、希少エンティティの識別に適した脱語彙化エンティティ識別といった、アーキテクチャ上の革新を検討している。
• 低リソース環境におけるローカル文脈再構築やトランスファーラーニングの技術的影響を評価している。
• 特に大規模または実世界の応用において、モデルの複雑さ、学習コスト、スケーラビリティのトレードオフを議論している。

実験結果

リサーチクエスチョン

• RQ1 埋め込み、文脈符号化、推論モジュールの各分野における異なる深層学習アーキテクチャが、系列ラベル付け性能にどのように影響を与えるか？
• RQ2 事前学習コーパス、地名帳、語彙集といった外部リソースが、モデルの正確性と頑健性に与える影響は何か？
• RQ3 なぜ名前付きエンティティ認識（NER）では品詞タグ付け（POS）タグ付けよりも性能が低いのか？このギャップを是正するアーキテクチャ的・訓練戦略的アプローチは何か？
• RQ4 深層学習モデルを、アノテーションデータが限られた低リソース言語やドメインにどのように適合させられるか？
• RQ5 実世界の大規模応用において、系列ラベル付けのための深層学習モデルをスケーリングする際の主な課題は何か？

主な発見

• MaとHovy（2016）が提唱したBi-LSTM-CNN-CRFモデルは、特徴工学を一切不要とし、CoNLL-2003 NERで97.55％の正確性を達成する強力なエンドツーエンドベースラインのまま残っている。
• Zhangら（2018）は、長距離タグ依存関係をモデル化するタグ-LSTMを導入することで、このベースラインを0.04％上回り、97.59％の正確性を達成した。
• Bohnetら（2018）は、文字および単語表現における文レベルの文脈を強化することで、97.96％のF1スコアを達成し、当時最先端の性能を記録した。
• 外部リソースを一切使用しないモデルでは、NERで平均92.67％のF1スコア（Liら、2018年）を達成したが、大規模な未ラベルコーパスでの事前学習を用いたモデルは著しく優れていた。
• NERはPOSタグ付けよりも困難であり、多くのモデルが91–92％のF1スコアにとどまっていることから、タスク自体の本質的な難易度が示唆されている。
• 事前学習言語モデルや外部リソースの利用は性能を著しく向上させるが、高い計算コストとより大きなモデルサイズを必要としている。