[論文レビュー] Entity-Switched Datasets: An Approach to Auditing the In-Domain Robustness of Named Entity Recognition Models

Oshin Agarwal, Yinfei Yang+2 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 14被引用数 21

ひとこと要約

本稿では、名前付きエンティティ認識（NER）モデルのドメイン内ロバスト性を監査するため、文脈を保ったまま、異なる国籍の妥当なエンティティにエンティティを交換する「エンティティスイッチドデータセット」を導入する。実験の結果、最先端のNERモデルは国籍によって顕著な性能差を示し、米国およびインドのエンティティではF1スコアが最も高く、ベトナムおよびインドネシアのエンティティでは最も低くなることが判明。これは、現在のシステムにおける公平性と一般化性能のギャップを浮き彫りにする。

ABSTRACT

Named entity recognition systems perform well on standard datasets comprising English news. But given the paucity of data, it is difficult to draw conclusions about the robustness of systems with respect to recognizing a diverse set of entities. We propose a method for auditing the in-domain robustness of systems, focusing specifically on differences in performance due to the national origin of entities. We create entity-switched datasets, in which named entities in the original texts are replaced by plausible named entities of the same type but of different national origin. We find that state-of-the-art systems' performance vary widely even in-domain: In the same context, entities from certain origins are more reliably recognized than entities from elsewhere. Systems perform best on American and Indian entities, and worst on Vietnamese and Indonesian entities. This auditing approach can facilitate the development of more robust named entity recognition systems, and will allow research in this area to consider fairness criteria that have received heightened attention in other predictive technology work.

研究の動機と目的

• 同じドメイン内でのエンティティの多様な国籍に対するNERモデルの体系的評価の不足に対処すること。
• 最先端のNERモデルが、異なる国からのエンティティを均等に一般化できるかどうかを調査すること。
• スケーラブルでプログラム的生成が可能な方法を用いて、多様で文脈を保ったデータセットを構築し、ドメイン内ロバスト性をテストすること。
• とりわけ代表が不足しているグループに対して、国籍に起因する公平性の問題を明らかにすること。
• モデルカード報告を支援するため、エンティティグループごとのシステムの強み・弱みを監査可能にする。

提案手法

• 元のテキスト内の名前付きエンティティを、同じタイプだが異なる国籍の妥当なエンティティに置き換えることで、エンティティスイッチドデータセットを生成する。
• 国ごとのエンティティ置き換えを用いて文の整合性を維持し、全エンティティおよび人物（PER）エンティティのみのバージョンを別々に用意する。
• 既存のNERデータセット（例：CoNLL-2003）をベースとし、上位の人口を有する国々のエンティティを収集したリストを用いて自動的に置換を実施する。
• 文法的・意味的パターン（例：'ORG newspaper' や 'LOC DATE' など）を保持することで、文脈的一致性を確保する。
• 最先端のNERモデル（例：BERT、Lample、Devlin）を、元のデータセットおよびスイッチドデータセットの両方で評価し、性能の変化を測定する。
• モデル予測のエラー分析を実施し、文脈的ヒントを無視して語彙的同一性に依存するなど、失敗モードを同定する。

実験結果

リサーチクエスチョン

• RQ1 エンティティが異なる国籍の対応物に置き換えられた場合、最先端NERモデルの性能はどのように変化するか？
• RQ2 非母語圏のエンティティを認識する際、NERモデルは語彙的同一性に依存するのか、文脈的手がかりに依存するのか、その程度はどの程度か？
• RQ3 同じドメイン内文脈においても、国籍ごとに体系的な性能格差が生じるのか？
• RQ4 エンティティスイッチドデータセットは、NERモデルのロバスト性および公平性の問題を効果的に露呈できるか？
• RQ5 一般的な文脈パターン（例：'newspaper name' や 'team name'）は、エンティティの国籍を越えてモデルの一般化性能にどのように影響するか？

主な発見

• 最先端NERモデルは、米国およびインドのエンティティに対して最も高いF1スコアを達成しており、BERTではこれらの国籍でF1が98.0を超える。
• ベトナムおよびインドネシアのエンティティでは性能が著しく低下し、BERTではそれぞれ89.8および92.0のF1スコアにとどまる。これは一般化性能の低さを示唆している。
• 「新聞名」に続く名前のような強い文脈的手がかりがある場合でさえ、モデルはスイッチドデータセットにおいてベトナムおよびインドネシアの名前を正しくORGとして特定できない。
• モデルは、トレーニングデータで一貫したパターンが存在しても、語彙的同一性に基づいて誤分類する傾向がある。
• 同じパターンに対しても一貫性のない振る舞いを示す。例えば、'LOC DATE' パatters はベトナム人のエンティティではLOCとして誤分類される。これは文脈を無視した予測を示している。
• ドイツ国籍のエンティティでは、国籍に関わらずモデルの性能が高く維持される。これは、一部の国籍は他の国籍よりも認識されやすいことを示唆しており、名前が外国語であっても、認識の偏りが存在する可能性を示している。