[論文レビュー] ner and pos when nothing is capitalized

Stephen Mayhew, Tatiana Tsygankova+1 more|arXiv (Cornell University)|Mar 27, 2019

Topic Modeling参考文献 17被引用数 15

ひとこと要約

本論文では、大文字と小文字の両方のテキストで1つのNLPモデルを訓練することで、両方の入力形式に対して高い性能を達成し、標準的手法（無大文字データでの訓練や、テスト時にトゥルーキャスティングを適用する）を上回ることを提案する。主な結果として、ノイズの多いTwitterデータにおけるメンション検出でF1スコアが8%向上し、混合大文字小文字データでの共同訓練がNERおよびPOSタスクにおいて最も頑健なモデルを生み出すことを示している。

ABSTRACT

For those languages which use it, capitalization is an important signal for the fundamental NLP tasks of Named Entity Recognition (NER) and Part of Speech (POS) tagging. In fact, it is such a strong signal that model performance on these tasks drops sharply in common lowercased scenarios, such as noisy web text or machine translation outputs. In this work, we perform a systematic analysis of solutions to this problem, modifying only the casing of the train or test data using lowercasing and truecasing methods. While prior work and first impressions might suggest training a caseless model, or using a truecaser at test time, we show that the most effective strategy is a concatenation of cased and lowercased training data, producing a single model with high performance on both cased and uncased text. As shown in our experiments, this result holds across tasks and input representations. Finally, we show that our proposed solution gives an 8% F1 improvement in mention detection on noisy out-of-domain Twitter data.

研究の動機と目的

• 大文字の有無が欠落する、小文字またはノイズの多いテキストでテストされたNERおよびPOSモデルの性能低下を是正するため、大文字は重要な特徴である。
• 無大文字データでの訓練とテスト時のトゥルーキャスティングのどちらが、大文字・小文字の両方の入力に対して頑健性を発揮する最適な戦略かを評価する。
• 特に現実世界のドメイン外設定において、入力の大文字小文字にかかわらず良好に動作する1つのモデルを構築するための最適な戦略を同定する。
• 大文字と小文字の訓練データを連結することで、他の前処理や後処理手法と比較して、より優れた一般化性能が得られることを実証する。

提案手法

• 大文字と小文字の両方の形を保持したまま、大文字と小文字のテキストを組み合わせたデータセットで1つのモデルを訓練する。
• 大文字と小文字の両方のテストセットでモデルの性能を評価し、頑健性と平均性能を測定する。
• Susanto et al. (2016) が提唱したニューラルトゥルーキャサーより、文字レベルで大文字小文字ラベルを予測する双向LSTMを実装する。
• 複数の戦略を比較する：大文字データのみで訓練する、小文字データのみで訓練する、トゥルーキャスドデータで訓練する、または大文字と小文字の混合データで訓練する。
• ELMoおよびBERTの埋め込みを用いて、異なる文脈的表現アーキテクチャの下で本手法をテストする。
• 実世界のノイズの多いデータ（Broad Twitter Corpus）にモデルを適用し、メンション検出におけるドメイン外の頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 無大文字データでの訓練は、大文字入力に対して頑健なモデルを生み出すのか、逆に大文字データでの訓練は小文字入力に対して頑健なのか？
• RQ2 小文字テキストでの性能向上を目的とした場合、無大文字データで訓練するよりも、テスト時にトゥルーキャスティングを適用する戦略の方が優れているのか？
• RQ3 大文字と小文字の両方のデータで訓練された1つのモデルは、一方の形式でのみ訓練されたモデルよりも、両方の入力形式で平均的に高い性能を達成できるのか？
• RQ4 実世界のノイズの多いテキストにおいて、混合大文字小文字データで訓練されたモデルの性能は、推論時にトゥルーキャスティングを適用するモデルと比較してどうなるか？
• RQ5 提案手法は、ELMoやBERTのような異なるニューラルアーキテクチャや埋め込みタイプに対しても一般化可能なのか？

主な発見

• 大文字と小文字のテキストを連結したデータセットで訓練した（実験3）モデルが、NERで97.57、POSで97.61という最高の平均F1スコアを達成し、他のすべての手法を上回った。
• 混合大文字小文字データで訓練したモデルは、Broad Twitter Corpusにおけるメンション検出のF1スコアを8ポイント向上させ、66.14まで上昇した。一方、大文字のみで訓練したベースラインは58.63であった。
• テストデータをトゥルーキャスティングした（実験4）モデルは、訓練データとテストデータのキャスティング基準の不一致により、POSの平均F1がたった95.21にとどまり、低い性能を示した。
• 小文字データのみで訓練した（実験2）モデルは、小文字テキストでは高い性能（POSで97.45）を示したが、大文字入力には一般化できず、平均性能が低かった。
• 本手法は、静的埋め込み、非ニューラルトゥルーキャシング、BERTの無大文字埋め込みを用いたモデルに対しても有効であり、その頑健性と一般化能力を確認した。
• BERTの無大文字埋め込みを使用しても、混合大文字小文字データで訓練したモデルは、大文字または小文字のいずれかの形式でのみ訓練したモデルよりも優れた全体的な性能を達成しており、混合大文字小文字での訓練の利点を強調している。