[論文レビュー] Robust Named Entity Recognition with Truecasing Pretraining

Stephen Mayhew, Nitish Gupta+1 more|arXiv (Cornell University)|Dec 15, 2019

Topic Modeling参考文献 25被引用数 9

ひとこと要約

本稿では、小文字テキストからの正しい大文字・小文字の配置を予測するためのトゥルーキャーサーを事前学習するロバストな名前付きエンティティ認識（NER）フレームワークを提案する。このフレームワークは、その出力を文字レベルの埋め込みに追加特徴として統合する。この手法により、大文字・小文字あり・なしの両方のテキストでNER性能が向上し、特に uncased BERT 埋め込みを組み合わせた場合でも、WNUT17 データセットで最先端の結果を達成した。

ABSTRACT

Although modern named entity recognition (NER) systems show impressive performance on standard datasets, they perform poorly when presented with noisy data. In particular, capitalization is a strong signal for entities in many languages, and even state of the art models overfit to this feature, with drastically lower performance on uncapitalized text. In this work, we address the problem of robustness of NER systems in data with noisy or uncertain casing, using a pretraining objective that predicts casing in text, or a truecaser, leveraging unlabeled data. The pretrained truecaser is combined with a standard BiLSTM-CRF model for NER by appending output distributions to character embeddings. In experiments over several datasets of varying domain and casing quality, we show that our new model improves performance in uncased text, even adding value to uncased BERT embeddings. Our method achieves a new state of the art on the WNUT17 shared task dataset.

研究の動機と目的

• 大文字・小文字の有無にかかわらず、テキストが不正確またはノイズが多い状況でNERモデルの一般化性能が著しく低下する問題に寄与する、大文字依存性を是正する。
• 最先端のNERモデルが大文字信号に過剰適合する問題を克服するため、正しい大文字・小文字の配置を回復するという事前学習目的を導入する。
• ゴールのケース情報に依存せず、学習された信号としてケースラベルを予測することで、貴重なケース情報の損失を回避しつつNERのロバスト性を向上させる。
• トゥルーキャーシング事前学習が、標準的なBiLSTM-CRFモデルおよび最新のBERTベースのモデルの両方で性能向上をもたらすことを示し、特にリソースが限られたドメインやノイズの多いドメインで顕著である。
• 多様なデータセットおよびケース品質レベルに対応するための、事前処理およびトレーニングの最良の実践法を確立する。

提案手法

• 小文字テキストを入力とし、元のケースをゴールラベルとする。文字レベルのBiLSTMベースのトゥルーキャーサーを訓練し、各文字の大文字／小文字ラベルを予測する。
• トゥルーキャーサーの出力分布（各文字ごとに2次元ベクトル）を学習された特徴として使用し、文字埋め込みに連結した後、CNN や BiLSTM でエンコードする。
• NERモデルにトゥルーキャーサーの予測結果を文字レベル表現に追加することで、語の埋め込みを変更せずに文脈理解を強化する。
• 大規模な未ラベルテキストでトゥルーキャーサーを事前学習し、その後、ラベル付きNERデータ上でNERモデルと共同で微調整することで、ロバストな表現のエンドツーエンド学習を可能にする。
• 標準的なBiLSTM-CRFモデルおよびBERTベースのNERモデルの両方に対してこの手法を適用し、アーキテクチャやデータ設定に関係なく一貫した向上を示した。
• 命名エンティティに類似したパターンを強調する事前処理戦略を採用し、エンティティレベルのケースパターンへの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 未ラベルテキストでトゥルーキャーサーを事前学習することで、NERモデルの小文字またはノイズのある入力に対するロバスト性が向上するか？
• RQ2 文字埋め込みに予測されたケース情報を特徴として組み込むことで、ゴールケースに依存するか、またはケースを無視するのと比較して、NER性能が向上するか？
• RQ3 トゥルーキャーサーの性能と下流のNER性能の相関関係はどの程度か？また、性能が劣るトゥルーキャーサーでもNER精度の向上が見られるか？
• RQ4 トゥルーキャーシング事前学習は、NERタスクにおける小文字BERT埋め込みの性能をどの程度向上させ得るか？
• RQ5 トゥルーキャーシングのトレーニングデータに対するどの事前処理戦略が、下流NERタスクにおける一般化性能と性能向上を最大化するか？

主な発見

• 全体の小文字 Ontonotes テストセットでは、提案手法によりNER F1が1.0ポイント向上し、特に放送ニュース（bc）サブジェノルでは最大1.9ポイントの向上を記録した。
• WNUT17 共同タスクでは、新しい最先端（SoTA）を達成した。これは、小文字BERT埋め込みを用いても、先行手法を上回った。
• NERモデルが小文字BERTを使用する場合でも、トゥルーキャーサーが小文字テキストでの性能向上をもたらすことを示し、事前学習を超えた価値を有することが明らかになった。
• NERデータ上で事前学習済みトゥルーキャーサーを微調整した場合（F1: 46.3）、初期学習（F1: 47.7）や固定事前学習バージョン（F1: 46.9）よりも優れた結果を得ており、共同最適化の利点を示している。
• 微調整済みトゥルーキャーサーの文字レベルケース予測性能（F1: 52.3%）はNERの向上と相関しているが、完全な相関ではない。これは、正確なケース予測が有益であるが、NER向上に絶対に必須ではないことを示唆している。
• 低リソースやノイズの多いテキストを含む多様なドメインおよびケース品質レベルにおいて一貫した向上を示し、実世界の設定でもロバストであることを確認した。