[論文レビュー] Domain-Specific NER via Retrieving Correlated Samples

Xin Zhang, Yong Jiang+5 more|arXiv (Cornell University)|Aug 27, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、ドメイン固有のNERアプローチを提案し、ドメイン内テキストからの相関するラベルなしサンプルの検索と活用によってモデル性能を向上させる。BM25検索とマルチインスタンスクロスエンコーダーを用いて相関をモデル化し、投票と共同符号化によりエンティティタイプ予測を改善することで、中国語の住所および電子商取引NERベンチマークでSOTAを達成し、強力なベースライン比でF1スコア最大1.11ポイントの向上を達成した。

ABSTRACT

Successful Machine Learning based Named Entity Recognition models could fail on texts from some special domains, for instance, Chinese addresses and e-commerce titles, where requires adequate background knowledge. Such texts are also difficult for human annotators. In fact, we can obtain some potentially helpful information from correlated texts, which have some common entities, to help the text understanding. Then, one can easily reason out the correct answer by referencing correlated samples. In this paper, we suggest enhancing NER models with correlated samples. We draw correlated samples by the sparse BM25 retriever from large-scale in-domain unlabeled data. To explicitly simulate the human reasoning process, we perform a training-free entity type calibrating by majority voting. To capture correlation features in the training stage, we suggest to model correlated samples by the transformer-based multi-instance cross-encoder. Empirical results on datasets of the above two domains show the efficacy of our methods.

研究の動機と目的

• 中国語の住所や電子商取引のタイトルなど、文脈的背景がなければエンティティが曖昧なドメイン固有のテキストにおけるNER性能の低さに取り組む。
• 入力サンプルを独立事象として扱う標準的なNERモデルが、難しい曖昧ケースで失敗するという限界を克服する。
• 同じドメインからの自然に相関するラベルなしサンプルを活用し、エンティティ認識のための曖昧性解消の文脈を提供する。
• 検索されたサンプル間の多数決によるトレーニングフリーなキャリブレーション手法を開発し、予測されたエンティティタイプを精緻化する。
• トレーニング中に入力と検索されたサンプル間の相関を明示的にモデル化するマルチインスタンスクロスエンコーダーを提案する。

提案手法

• 大規模なドメイン内ラベルなしテキストにおける語彙的類似性に基づき、Elasticsearchで駆動されるスパースなBM25リtrieverを用いて関連するサンプルを検索する。
• 入力と検索されたサンプルの並列推論を実行し、その後で多数決によるエンティティタイプのキャリブレーションを実施することで、曖昧性を解消する。
• 入力と検索されたサンプルを共同符号化するためのトランスフォーマー基盤のマルチインスタンスクロスエンコーダーを学習し、複雑な相関特徴を捉える。
• NEZHAを文脈表現として用い、BiLSTM-CRFフレームワークにクロスエンコーダーを統合することで、相関パターンのエンドツーエンド学習を可能にする。
• クロスエンコーダーを用いて入力と検索されたテキストの両方に注目し、予測のための関連する文脈を動的に重み付け可能にする。
• 再計算の冗長性を低減し、速度を向上させるために、CRFデコードの前に検索されたテキストを連結して推論を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内データから関連するラベルなしサンプルを検索することで、曖昧でドメイン固有のテキストにおけるNER性能が向上するか？
• RQ2 検索されたサンプルの多数決によるトレーニングフリーなエンティティタイプキャリブレーションは、NER精度に一貫した向上をもたらすか？
• RQ3 入力と検索されたサンプルを共同でモデル化するマルチインスタンスクロスエンコーダーは、標準的なNERモデルよりも豊かな相関特徴を捉えられるか？
• RQ4 ラベルなし検索コーパスのサイズと品質は、提案手法の性能にどのように影響するか？
• RQ5 リtrieーブ拡張NER手法を用いる際、性能向上と推論速度のトレードオフはどのようなものか？

主な発見

• 提案手法は、アドレスデータセットの開発セットで93.89のSOTA F1スコアを達成し、ベースラインのNEZHA-BiLSTM-CRF比で1.11ポイントの向上を達成した。
• エンティティ投票手法は、ベースライン比でF1スコア0.58ポイント向上させ、クロスインスタンスキャリブレーションの有効性を示した。
• マルチインスタンスクロスエンコーダーは、アドレスおよび電子商取引データセットの両方で、NEZHA-BCを含む強力なベースラインすべてを上回った。
• 性能向上は上位10件の検索サンプルで最も顕著であり、それ以上に増やすと収益が減少する傾向が示された。
• クロスエンコーダー手法は、ベースライン比で2倍程度の遅延（4,000サンプルのテストセットで38.41秒）に留まり、実世界での利用に実用的であることが示された。
• 小規模または品質の低いラベルなしコーパスでは、関連する検索サンプルが少なくなり、性能向上も減少する傾向にあり、データ品質の重要性が浮き彫りになった。