[論文レビュー] Deep Active Learning for Named Entity Recognition

Yanyao Shen, Hyokun Yun+3 more|arXiv (Cornell University)|Jul 19, 2017

Topic Modeling参考文献 43被引用数 43

ひとこと要約

本稿では、named entity recognition (NER) のための軽量な CNN-CNN-LSTM アーキテクチャを提示し、インクリメンタルなアクティブラーニングを組み合わせることで、ラベル付きデータの必要量を大幅に削減する。不確実性に基づくサンプリングとインクリメンタルな再訓練を用いることで、OntoNotes-5.0 英語では訓練データの 24.9%、中国語では 30.1% を使用するだけで、完全に教師ありモデルの 99% の性能を達成し、データが限られた NER の設定において最先端の効率性を示している。

ABSTRACT

Deep learning has yielded state-of-the-art performance on many natural language processing tasks including named entity recognition (NER). However, this typically requires large amounts of labeled data. In this work, we demonstrate that the amount of labeled training data can be drastically reduced when deep learning is combined with active learning. While active learning is sample-efficient, it can be computationally expensive since it requires iterative retraining. To speed this up, we introduce a lightweight architecture for NER, viz., the CNN-CNN-LSTM model consisting of convolutional character and word encoders and a long short term memory (LSTM) tag decoder. The model achieves nearly state-of-the-art performance on standard datasets for the task while being computationally much more efficient than best performing models. We carry out incremental active learning, during the training process, and are able to nearly match state-of-the-art performance with just 25\% of the original training data.

研究の動機と目的

• named entity recognition (NER) における高コストなデータラベリング問題を軽減し、大規模なラベル付きデータセットへの依存を減らす。
• 深層学習における従来のアクティブラーニングの計算的非効率性（各ラベル付けラウンド後に完全な再訓練が必要）を克服する。
• 標準的な NER ベンチマークで競争力のある性能を維持しながら、計算的に効率的な軽量なニューラルアーキテクチャを開発する。
• インクリメンタルトレーニングとアクティブラーニングを組み合わせることで、大幅に少ないラベル付きデータで完全に教師ありモデルと同等またはそれを上回る性能を達成できることを示す。
• 不確実性に基づくアクティブラーニングが、OntoNotes のような多様なデータセットにおける未表現なジャンルを自動的に検出し、優先的にサンプリングできるかどうかを調査する。

提案手法

• CNN-CNN-LSTM アーキテクチャの提案：畳み込み型文字エンコーダ、畳み込み型単語エンコーダ、LSTM タグデコーダを組み合わせ、効率的なトレーニングと OOV（未知語）に対するロバスト性を実現する。
• インクリメンタルなアクティブラーニングの実装：完全な再トレーニングではなく、各ラウンド後に新たにラベル付けされたバッチでモデル重みを更新することで、計算コストを低減する。
• シンプルな不確実性に基づく選択ヒューリスティックの採用：モデルの現在の予測の長さ正規化済み対数尤度が最小となる文を選択する。
• この選択戦略を繰り返し適用し、初期段階で訓練データの 1% から開始し、各ラウンドで 20,000 語ずつラベル付きデータセットを拡張する。
• 各ラウンドで確率的勾配降下法を用いて 50 エポック分、拡張されたデータセット上でモデルをトレーニングし、各ラウンド後にテストセットで性能を評価する。
• F1 スコアを主な指標として用い、本手法をランダムサンプリング、不確実性サンプリング（LC）、BALD、サブモジュラー選択と比較する。

実験結果

リサーチクエスチョン

• RQ1 軽量なディープラーニングアーキテクチャは、既存のモデルよりも著しく高速にトレーニング可能でありながら、競争力のある NER の性能を達成できるか？
• RQ2 アクティブラーニングは、性能を損なわせることなく、どの程度 NER のラベル付きデータの必要量を削減できるか？
• RQ3 インクリメンタルトレーニングと組み合わせた不確実性ベースのアクティブラーニングは、ランダムサンプリングや他のアクティブラーニングベースラインを上回るデータ効率性を示せるか？
• RQ4 アクティブラーニングアルゴリズムは、OntoNotes のような多様なデータセットにおいて、未表現なジャンル（例：放送ニュース、電話会話）を自動的に検出し、優先的にサンプリングできるか？
• RQ5 アクティブラーニングの性能は、ラベル付きデータ量の増加に伴いどのようにスケーリングするか？また、どの時点で、全データでトレーニングされた浅いモデルを上回るのか？

主な発見

• CNN-CNN-LSTM モデルは、OntoNotes-5.0 英語および中国語の両方で競争力のある性能を達成しており、F1 スコアはそれぞれ 86.52 および 75.63 であり、CRFベースのモデルと比較して 3.5 倍速くトレーニングできる。
• OntoNotes-5.0 英語データセットでは、本手法が訓練データの 24.9% のみで、完全に教師ありモデルの F1 スコアの 99% を達成している。
• OntoNotes-5.0 中国語データセットでは、本手法が元の訓練データの 30.1% のみで、最良のモデルの性能の 99% を達成している。
• 本手法によるアクティブラーニングは、英語では訓練データの 12.0%、中国語では 16.9% のみで、全データでトレーニングされた浅いモデルの性能を上回っている。
• MNLP 不確実性ヒューリスティック（1 回の順伝播のみで計算可能）は、初期ラウンドで BALD を上回り、計算的にもより効率的でありながら、同等の性能を達成している。
• アクティブラーニングアルゴリズムは、新聞記事（newswire）が訓練データに不足している場合、放送ニュースや電話会話などの未表現なジャンルを自動的に検出し、より多くサンプリングする。これは、暗黙のジャンル認識型サンプリングを示している。