[論文レビュー] $k$NN-NER: Named Entity Recognition with Nearest Neighbor Search

Shuhe Wang, Xiaoya Li+5 more|arXiv (Cornell University)|Mar 31, 2022

Topic Modeling被引用数 11

ひとこと要約

本稿では、推論時にキャッシュされた学習データセットから$k$近傍を検索することで、汎用的NERモデルの予測を補完する、$k$NN-NERというリtrieval増強型フレームワークを提案する。再訓練を伴わず類似度ベースの近傍探索を活用することで、$k$NN-NERは最先端の性能を達成し、中国語Weibo NERでは72.03のF1スコアを記録するとともに、40%の学習データ削減でも同等の結果を達成する。

ABSTRACT

Inspired by recent advances in retrieval augmented methods in NLP~\citep{khandelwal2019generalization,khandelwal2020nearest,meng2021gnn}, in this paper, we introduce a $k$ nearest neighbor NER ($k$NN-NER) framework, which augments the distribution of entity labels by assigning $k$ nearest neighbors retrieved from the training set. This strategy makes the model more capable of handling long-tail cases, along with better few-shot learning abilities. $k$NN-NER requires no additional operation during the training phase, and by interpolating $k$ nearest neighbors search into the vanilla NER model, $k$NN-NER consistently outperforms its vanilla counterparts: we achieve a new state-of-the-art F1-score of 72.03 (+1.25) on the Chinese Weibo dataset and improved results on a variety of widely used NER benchmarks. Additionally, we show that $k$NN-NER can achieve comparable results to the vanilla NER model with 40\% less amount of training data. Code available at \url{https://github.com/ShannonAI/KNN-NER}.

研究の動機と目的

• 標準的なモデルが処理に苦労するレアなまたは未学習のエンティティを含む長尾エンティティ認識課題に対処する。
• リtrievalによる関連する学習例へのアクセスを通じて、少データ学習および低リソース学習の能力を向上させる。
• 追加の訓練やアーキテクチャの変更なしに、モデルの汎化能力を向上させる。
• 推論時に類似した学習例をリtrievalすることで、標準的な記憶ベースの訓練を上回る性能を達成できることを示す。
• 学習データを40%削減しても$k$NN-NERが強い性能を維持することから、データ効率性が優れていることを示す。

提案手法

• 事前学習済みの汎用的NERモデル（例：BERT）の隠れ状態から表現-ラベルペアをキャッシュする（訓練時）。
• 推論時、入力トークン（例：'Washington'）をエンコードし、コサイン類似度を用いてデータベース内で$k$近傍探索を実行する。
• 類似度が高い$k$個の訓練例を取得し、それらのラベル分布を抽出する。
• 学習可能なまたは固定の重み付け方式を用いて、汎用的NERモデルの出力分布と$k$近傍のラベル分布を補間する。
• 補間された分布を各トークンの最終予測として使用し、希少または未知語のエンティティに対しても耐性を向上させる。
• 微調整なしに、さまざまな事前学習モデル（BERT、RoBERTa、ChineseBERT）を用いて、英語および中国語のNERベンチマークで本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 キャッシュされた学習データセットからの$k$近傍探索が、長尾および希少エンティティのNER性能を向上させることができるか？
• RQ2 提案された$k$NN-NERフレームワークは、追加の訓練なしに少データ学習および低リソース学習を向上させることができるか？
• RQ3 $k$NN検索における$k$の選択が性能にどれほど敏感か？
• RQ4 $k$NN-NERは、顕著に削減された学習データで標準的なNERモデルと同等の結果を達成できるか？
• RQ5 多言語および低リソース設定を含む多様なNERベンチマークにおいて、リtrieval増強アプローチが一貫して性能を向上させるか？

主な発見

• 中国語Weibo NERデータセットでは、$k$NN-NERが72.03のF1スコアを達成し、これは汎用的ChineseBERT-Largeモデル比で+1.23の向上を示している。
• 中国語OntoNotes 4.0では、$k$=256を用いた場合、汎用的BERT-Baseモデル比で+1.75のF1スコア向上を達成した。
• 学習データの60%のみで$k$NN-NERは、中国語OntoNotes 4.0で完全データの汎用的モデルと同等の性能を達成した。これは、強いデータ効率性を示している。
• 性能は$k$=256で安定化し、$k$=512でもさらなる向上が見られなかったため、ハイパーパramータの選択に対して頑健であることが示された。
• CoNLL03、OntoNotes5.0、MSRA、Weibo NERを含む全評価ベンチマークでF1スコアが一貫して向上し、+0.11～+1.63の範囲で改善が得られた。
• 補間メカニズムは、意味的に類似した学習例を効果的に活用し、再訓練なしに希少または未学習エンティティの予測を向上させた。