[論文レビュー] A PubMedBERT-based Classifier with Data Augmentation Strategy for Detecting Medication Mentions in Tweets

Qing Han, Shubo Tian+1 more|arXiv (Cornell University)|Nov 3, 2021

Biomedical Text Mining and Ontologies被引用数 10

ひとこと要約

本稿では、PubMedBERTに基づく分類器にマルチ戦略的データ拡張手法を組み合わせることで、ツイートにおける薬剤の言及を検出する手法を提示する。非標準的な言語やクラスの不均衡といった課題に取り組むことで、BioCreative VII Track 3ベンチマークでF1スコア0.762を達成し、平均提出スコア0.696を大きく上回った。

ABSTRACT

As a major social media platform, Twitter publishes a large number of user-generated text (tweets) on a daily basis. Mining such data can be used to address important social, public health, and emergency management issues that are infeasible through other means. An essential step in many text mining pipelines is named entity recognition (NER), which presents some special challenges for tweet data. Among them are nonstandard expressions, extreme imbalanced classes, and lack of context information, etc. The track 3 of BioCreative challenge VII (BC7) was organized to evaluate methods for detecting medication mentions in tweets. In this paper, we report our work on BC7 track 3, where we explored a PubMedBERT-based classifier trained with a combination of multiple data augmentation approaches. Our method achieved an F1 score of 0.762, which is substantially higher than the mean of all submissions (0.696).

研究の動機と目的

• ツイートにおける薬剤の言及を検出する課題に取り組む。これは、非標準的な言語、極端なクラスの不均衡、限られた文脈という特徴を持つ。
• 事前学習された言語モデルを用いて、リソースが限られたノイズの多いソーシャルメディアテキストにおける命名エンティティ認識（NER）のパフォーマンスを向上させる。
• 複数のデータ拡張戦略を組み合わせることで、不均衡なツイートデータにおけるモデルの汎化能力とパフォーマンスを向上させる有効性を評価する。
• リソースが限られた、非公式なテキスト環境における薬剤の言及検出に向け、強固で再利用可能な手法を貢献する。

提案手法

• 生体医学文献で事前学習されたドメイン特化型BERTバージョン、PubMedBERTを、ツイートデータのシーケンスラベル付けタスクに微調整する。
• バックトランスレーション、同義語置換、同義語挿入といったデータ拡張技術の組み合わせを適用し、トレーニングデータの多様性を高め、クラスの不均衡を緩和する。
• 薬剤の言及を含む、言語的に妥当な合成ツイートを生成する条件付き生成アプローチを用いる。
• クラスの再重み付けとフォーカル損失をトレーニング中に適用し、ツイートにおける薬剤エンティティの長尾分布に対処する。
• 手動でアノテートされた薬剤の言及を含むBC7 Track 3データセット上で、モデルをエンドツーエンドにトレーニングする。
• 公式テストセット上で、標準的なNERメトリクス（精度、再現率、F1スコア）を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 言語的ばらつきと文脈の乏しさがあるにもかかわらず、PubMedBERTベースのモデルは、非公式でノイズの多いツイートテキストにおける薬剤の言及を効果的に検出できるか？
• RQ2 複数のデータ拡張戦略を組み合わせることで、リソースが限られた、不均衡なツイートにおける薬剤の言及検出のパフォーマンスにどのような影響を与えるか？
• RQ3 ベースラインモデルと比較して、データ拡張は、一般化能力とF1スコアの向上にどの程度寄与するか？
• RQ4 ドメイン特化型事前学習（PubMedBERT）とデータ拡張を統合することで、一般ドメインモデルと比較して、ソーシャルメディア医療テキストにおいて優れた結果が得られるか？

主な発見

• 提案されたPubMedBERTベースの分類器にデータ拡張を適用した結果、BC7 Track 3のテストセットでF1スコア0.762を達成し、平均提出スコア0.696を大きく上回った。
• バックトランスレーション、同義語置換、および条件付き生成の組み合わせにより、希少な薬剤エンティティにおけるモデルのロバスト性と一般化能力が向上した。
• データ拡張の適用により、クラスの不均衡の影響が軽減され、代表が少ない薬剤の言及における再現率が向上した。
• モデルは、未知語やスペルミス語に対しても高いパフォーマンスを示し、ツイートにおける非標準的な言語形態の効果的な処理を示した。
• PubMedBERTとターゲット特化型データ拡張戦略の統合により、ベースラインで微調整されたBERTモデルと比較して、F1スコアに明確な向上が見られた。
• 結果から、ドメイン特化型事前学習とマルチ戦略的データ拡張の組み合わせが、リソースが限られたノイズの多いソーシャルメディアテキストにおけるNERに有効であることが確認された。