[論文レビュー] Detecting Label Errors in Token Classification Data

Wei-Chen Wang, Jonas Mueller|arXiv (Cornell University)|Oct 8, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、文内のトークンラベル誤りを検出するためのworst-token手法を提案する。各トークンのラベル予測信頼度の最小値に基づいて文をスコア化することで、ラベル誤りを含む文を特定する。CoNLL-2003の実世界のラベル誤りを用いて11種類の手法を評価した結果、特に自己信頼度スコアを組み合わせた場合、精度-再現率の面で他の手法を一貫して上回り、モデルアンサンブルや複雑な再訓練を必要とせず、シンプルで効率的かつ効果的な誤ラベルデータの特定手法を提供する。

ABSTRACT

Mislabeled examples are a common issue in real-world data, particularly for tasks like token classification where many labels must be chosen on a fine-grained basis. Here we consider the task of finding sentences that contain label errors in token classification datasets. We study 11 different straightforward methods that score tokens/sentences based on the predicted class probabilities output by a (any) token classification model (trained via any procedure). In precision-recall evaluations based on real-world label errors in entity recognition data from CoNLL-2003, we identify a simple and effective method that consistently detects those sentences containing label errors when applied with different token classification models.

研究の動機と目的

• トークン分類データセットに含まれるラベル誤りを含む文を効果的に特定する手法を開発すること。
• 合成データではなく、現実世界の自然に発生するラベル誤りを用いてラベル誤り検出性能を評価すること。
• トークンレベルの予測信頼度に基づいて文全体をスコア化する手法を開発し、誤ラベルの例の効率的レビューを可能にすること。
• ラベル誤り検出において、信頼度ベースのスコアリング手法とハード予測ベースの手法の有効性を比較すること。
• NLPデータセットにおけるラベル誤り検出のためのシンプルでモデルに依存せず、計算コストが低いソリューションを提供すること。

提案手法

• worst-token手法は、文に含まれるすべてのトークンのうち、真のラベルの予測確率の最小値に基づいて文をスコア化する。
• モデル出力確率から導出される各トークンのラベル品質スコア（自己信頼度 p_ik、正規化されたマージン（p_ik - p_i~k）、信頼度加重エントロピー（p_ik / H(p_i)））を用いる。
• 文はworst-tokenスコアの大小で順位付けされ、スコアが低いほど少なくとも1つの誤ラベルトークンを含む可能性が高いとされる。
• この手法はモデルに依存せず、任意のトレーニング済みトークン分類器と併用可能で、サンプル外予測のみを必要とする。
• 第二に低いスコアやConfident Learningフラグを考慮するなど、より頑健なバージョン（worst-token-softmin や worst-token-min-alt）を検討した。
• 実世界のCoNLL-2003エンティティ認識データに自然に発生する誤りを用いて、精度-再現率、AUPRC、AUROCの指標で評価を実施。

実験結果

リサーチクエスチョン

• RQ1 実世界のトークン分類データにおいて、どのラベル品質スコアリング手法がラベル誤りを含む文を最も効果的に特定できるか？
• RQ2 信頼度ベースのスコアリング手法は、ハード予測ベースの手法に比べてラベル誤り検出でどの程度優れているか？
• RQ3 BERTやXLMのような異なる事前学習モデルやデータ分割において、ラベル誤り検出の性能はどのように変化するか？
• RQ4 第二に低いスコアや追加の信頼度スコアを組み込むことで、誤ラベル文の検出性能は向上するか？
• RQ5 シンプルでモデルに依存しない手法（例：worst-token）は、より複雑なアンサンブルベースの手法を上回ることができるか？

主な発見

• 自己信頼度スコアを用いたworst-token手法は、BERTモデルでLift@#Errorsが9.02に達し、全モデルおよびデータ分割で一貫して他の手法を上回った。
• worst-token-softminは、第二に低いトークン信頼度を考慮することで、worst-tokenよりわずかにLift@#Errorsが向上し、誤検出を低減した。
• 全モデルでAUROCスコアが0.90以上を記録し、誤りを含む文を識別する強力な判別能力を示した。
• 信頼度加重エントロピー（cwe）は、自己信頼度や正規化マージンに比べて性能が低く、特にAUPRCおよびLift指標で顕著に劣った。
• worst-token-min-alt や worst-token-softmin などの変種はわずかな改善しか得られず、推定誤差への感受性が高くなる傾向にあり、ベースのworst-token手法の採用が正当化された。
• 本研究は、実世界のラベル誤りは合成誤りとは異なること、および合成データで訓練された手法が実データに一般化されない可能性があることを確認した。