[論文レビュー] LTP: A New Active Learning Strategy for Bert-CRF Based Named Entity Recognition

Mingyi Liu, Zhiying Tu+2 more|arXiv (Cornell University)|Jan 8, 2020

Topic Modeling参考文献 34被引用数 21

ひとこと要約

本稿では、BERT-CRF named entity recognitionのための不確実性に基づくアクティブラーニング戦略であるLTP（Lowest Token Probability）を提案する。LTPはモデルを変更せずに、CRFの入力と出力を組み合わせることで、情報量の多いサンプルを選び出す。LTPは短いシーケンスを好むことで、従来の手法と比較してラベル付きトークン数を減らしても優れた性能を達成し、アノテーションコストを低減する。

ABSTRACT

In recent years, deep learning has achieved great success in many natural language processing tasks including named entity recognition. The shortcoming is that a large amount of manually-annotated data is usually required. Previous studies have demonstrated that active learning could elaborately reduce the cost of data annotation, but there is still plenty of room for improvement. In real applications we found existing uncertainty-based active learning strategies have two shortcomings. Firstly, these strategies prefer to choose long sequence explicitly or implicitly, which increase the annotation burden of annotators. Secondly, some strategies need to invade the model and modify to generate some additional information for sample selection, which will increase the workload of the developer and increase the training/prediction time of the model. In this paper, we first examine traditional active learning strategies in a specific case of BiLstm-CRF that has widely used in named entity recognition on several typical datasets. Then we propose an uncertainty-based active learning strategy called Lowest Token Probability (LTP) which combines the input and output of CRF to select informative instance. LTP is simple and powerful strategy that does not favor long sequences and does not need to invade the model. We test LTP on multiple datasets, and the experiments show that LTP performs slightly better than traditional strategies with obviously less annotation tokens on both sentence-level accuracy and entity-level F1-score. Related code have been release on this https URL

研究の動機と目的

• 従来の不確実性に基づくアクティブラーニング戦略が命名エンティティ認識において抱える限界を解決すること。
• サンプル選択において長すぎるシーケンスを好まないことで、アノテーションの負担を軽減すること。
• モデルの変更やトレーニング／予測時間の増加を必要としない戦略を開発すること。
• 最小限のラベル付きデータで文単位の正答率およびエンティティ単位のF1スコアの両方を向上させること。
• 実世界のNLPアプリケーションに容易に統合可能な軽量で実装可能なソリューションを提供すること。

提案手法

• LTPは、CRF出力シーケンスにおける任意のトークンの予測確率の最小値に基づいてインスタンスを選択する。
• BERTの入力表現とCRFの発生スコアを組み合わせて、トークン単位の不確実性を計算する。
• モデルアーキテクチャの変更や追加の推論計算を必要としない。
• シーケンス内のすべてのトークンにおける最小確率に基づいてサンプルを選択し、不確実ではあるが簡潔なインスタンスを好む。
• シーケンス全体の不確実性ではなく、個々のトークンの信頼度に注目することで、長すぎるシーケンスへのバイアスを回避する。
• モデルを変更せずに実装されるため、既存のBERT-CRFパイプラインへの容易な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 LTPは、従来の不確実性に基づくアクティブラーニング戦略と比較して、アノテーションの効率性においてどう異なるか？
• RQ2 LTPは、長すぎるシーケンスを好まないことで、アノテーションの負担を軽減するのか？
• RQ3 LTPは、ベースライン手法と比較して、ラベル付きトークン数を減らしてもより良い性能を達成できるのか？
• RQ4 LTPはモデルの変更なしに、モデル性能を維持または向上させることができるか、その程度はいかほどか？
• RQ5 LTPは複数の命名エンティティ認識データセットで、どのように性能を発揮するのか？

主な発見

• LTPは、文単位の正答率およびエンティティ単位のF1スコアの両方で、従来のアクティブラーニング戦略よりもわずかに優れた性能を達成する。
• LTPは、アノテーションに必要なトークン数を顕著に削減し、アノテーションコストを低減する。
• この戦略は長すぎるシーケンスを好まないため、人間のアノテーターの負担を軽減する。
• LTPはモデルの変更や追加のトレーニング／予測時間も不要であり、効率的で実装可能なソリューションである。
• 複数のデータセットにおける実験により、LTPの有効性と多様なNER設定におけるロバスト性が確認された。
• 著者らはLTPのコードを公開しており、再現性の確保と実用的採用を可能にしている。