[論文レビュー] Sensitive Data Detection and Classification in Spanish Clinical Text: Experiments with BERT

Aitor García Pablos, Naiara Pérez+1 more|arXiv (Cornell University)|Mar 6, 2020

Topic Modeling参考文献 26被引用数 14

ひとこと要約

本稿では、ドメイン固有の特徴工学を用いずに、スペイン語の臨床テキストにおける機微情報の検出および分類のための多言語 BERT ベースの系列ラベル付けモデルを評価している。モデルは2つのスペイン語臨床データセットにおいて最先端の性能を達成し、従来の機械学習手法を上回り、訓練データの不足に対しても高い耐性を示しており、MEDDOCAN 共同タスクにおける優勝システムから F1 スコアでわずか 0.3 の低下にとどまっている。

ABSTRACT

Massive digital data processing provides a wide range of opportunities and benefits, but at the cost of endangering personal data privacy. Anonymisation consists in removing or replacing sensitive information from data, enabling its exploitation for different purposes while preserving the privacy of individuals. Over the years, a lot of automatic anonymisation systems have been proposed; however, depending on the type of data, the target language or the availability of training documents, the task remains challenging still. The emergence of novel deep-learning models during the last two years has brought large improvements to the state of the art in the field of Natural Language Processing. These advancements have been most noticeably led by BERT, a model proposed by Google in 2018, and the shared language models pre-trained on millions of documents. In this paper, we use a BERT-based sequence labelling model to conduct a series of anonymisation experiments on several clinical datasets in Spanish. We also compare BERT to other algorithms. The experiments show that a simple BERT-based model with general-domain pre-training obtains highly competitive results without any domain specific feature engineering.

研究の動機と目的

• 事前学習済みの多言語 BERT モデルがスペイン語臨床テキストにおける機微情報の検出および分類にどの程度の性能を示すかを評価すること。
• ドメイン固有の特徴工学を用いない状況で、BERT ベースの系列ラベル付け手法と従来の機械学習および spaCy ベースのシステムを比較すること。
• 訓練データが限られた状況、特にリソースが限られた状況において、モデルの耐性を評価すること。
• 言語的・ドメイン固有の適応なしに、一般ドメインで事前学習されたモデルが臨床テキストの匿名化において高い性能を達成できるかどうかを検証すること。

提案手法

• BIOタギングを用いて、ラベル付きスペイン語臨床テキスト上で多言語 BERT ベースモデルをファインチューニングし、系列ラベル付けを実行した。
• 追加の言語固有の事前学習を施さずに、事前学習済みの多言語 BERT モデルからのトランスファー学習を実施した。
• 標準的な NLP 評価指標（精度、再現率、F1 スコア）を用いて、CRF、spaCy、ルールベースのシステムと BERT モデルを比較した。
• 訓練データを段階的に削減することで、耐性を評価するためのアブレーションスタディを実施した。
• 公平な比較のため、NUBES-PHI および MEDDOCAN データセットの両方で同一のモデルアーキテクチャとトレーニング手順を適用した。
• BERT に CRF レイヤーを追加した影響を評価したが、標準的な BERT ファインチューニングに比べて顕著な改善は観察されなかった。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の特徴工学を用いずに、一般ドメインで事前学習された BERT モデルがスペイン語臨床テキストの匿名化において競争力のある性能を達成できるか？
• RQ2 ドメイン固有の特徴工学なしで、スペイン語臨床テキストにおける BERT ベースの系列ラベル付け手法は、従来の CRF や spaCy ベースのシステムと比較して、精度、再現率、F1 スコアの観点でどの程度優れているか？
• RQ3 機微情報検出の文脈において、BERT モデルは訓練データが減少した場合にどの程度の耐性を示すか？
• RQ4 なぜ BERT モデルは他のシステムよりも高い再現率を達成しているのか？その意味は、プライバシー保護型データ匿名化にどのような影響を及えるか？

主な発見

• BERT ベースのモデルは NUBES-PHI データセットで最高の F1 スコアを記録し、CRF や spaCy のベースラインを上回った。
• NUBES-PHI データセットでは、BERT モデルが F1 スコア 0.89 を達成し、再現率 0.91 を記録した。これは次に優れたシステムよりも顕著に高い値であった。
• 訓練データを 230 件に削減した場合でも、BERT モデルの F1 スコアはわずか 7 ポints の低下にとどまり、データ不足に対する強い耐性を示した。
• MEDDOCAN データセットでは、BERT モデルが F1 スコア 0.88 を達成し、共有タスク優勝システムからわずか 0.3 スコアの差にとどまり、コンペティションで2位にランクインする結果となった。
• 多言語 BERT モデルを用いても、Mao よりも高い性能を示したが、Mao や Liu (2019) が報告した BERT+CRF モデルを上回った。これは、実装やハイパーパramータチューニングの違いが性能差を生じさせた可能性を示唆している。
• BERT モデルの高い再現率は、機微情報を見逃すことが非機微テキストを過剰に隠蔽するよりも深刻な影響を及えるプライバシー保護型アプリケーションにおいて、極めて適していることを示している。