[論文レビュー] On Adversarial Examples for Biomedical NLP Tasks

Vladimir Araujo, Andrés Carvallo+2 more|arXiv (Cornell University)|Apr 23, 2020

Topic Modeling参考文献 23被引用数 10

ひとこと要約

この論文は、BERTを用いたバイオメディカルNLPタスクのための敵対的評価フレームワークを提案し、スプルリングエラー、キーボードタイポ、同義語置換の3つの攻撃タイプを導入することで、NERおよびSTSタスクにおける顕著な性能低下を実証した。さらに、これらの例を用いた敵対的訓練により、元のタスクの精度を損なうことなくモデルのロバスト性が向上することを示した。

ABSTRACT

The success of pre-trained word embeddings has motivated its use in tasks in the biomedical domain. The BERT language model has shown remarkable results on standard performance metrics in tasks such as Named Entity Recognition (NER) and Semantic Textual Similarity (STS), which has brought significant progress in the field of NLP. However, it is unclear whether these systems work seemingly well in critical domains, such as legal or medical. For that reason, in this work, we propose an adversarial evaluation scheme on two well-known datasets for medical NER and STS. We propose two types of attacks inspired by natural spelling errors and typos made by humans. We also propose another type of attack that uses synonyms of medical terms. Under these adversarial settings, the accuracy of the models drops significantly, and we quantify the extent of this performance loss. We also show that we can significantly improve the robustness of the models by training them with adversarial examples. We hope our work will motivate the use of adversarial examples to evaluate and develop models with increased robustness for medical tasks.

研究の動機と目的

• 事前学習されたBERTモデルが名前付きエンティティ認識（NER）や意味的テキスト類似度（STS）といった重要なバイオメディカルNLPタスクにおいて、どの程度ロバストであるかを評価すること。
• 医療テキストにおけるスプルリングエラー やタイポなどの現実的で人間らしい摂動がBERTモデルに与える脆弱性を特定すること。
• 同義語置換攻撃がSTSタスクにおいて、モデルの予測を変更し、類似度スコアを上昇させる可能性があるかどうかを調査すること。
• 生成された敵対的例を用いた敵対的訓練が、こうした摂動に対するモデルのロバスト性を向上させるかどうかを評価すること。
• 患者の安全とモデルの信頼性を確保するため、医療NLP分野における敵対的評価と訓練の広範な導入を促すこと。

提案手法

• スワップノイズ（例：'herat vavle'）、キーボードタイポノイズ（例：'hea5t valce'）、同義語置換（例：'potassium warfarin' として 'warfarin' を置換）の3種類の敵対的攻撃を提案。
• これらの攻撃を、NER用のBC5CDRおよびSTS用のBioSSESという2つのベンチマークデータセットに適用し、敵対的テストセットを生成。
• 敵対的例を含む元の学習データに微調整することで、敵対的訓練を実施。
• 標準指標を用いてモデル性能を測定：NERではF1スコア、STSではピアソンおよびスピアマン相関係数を、元のテストセットおよび敵対的テストセットの両方で評価。
• 予測一般化および予測安定性への各攻撃タイプの影響を分離するために、制御された評価プロトコルを用いる。
• 予め学習したデータの種別（PubMedのみ vs. PubMed + MIMIC-III）を比較し、語彙の影響がロバスト性に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、バイオメディカルテキストにおけるスプルリングエラー やタイポといった敵対的摂動に対してどの程度脆弱であるか？
• RQ2 医療用語における同義語置換が、STSタスクにおける意味的類似度予測にどの程度の影響を及ぼすか？
• RQ3 人間らしい摂動に基づく敵対的訓練が、標準ベンチマークでのパフォーマンスに悪影響を及げることなく、モデルのロバスト性を向上させられるか？
• RQ4 事前学習データの選択（例：PubMed と PubMed + MIMIC-III）が、敵対的攻撃に対するモデルの耐性に影響を与えるか？
• RQ5 なぜ同義語ベースの敵対的例は、一部のケースで元のテストセットよりも高いSTS相関スコアを示すことがあるのか？

主な発見

• BERTモデルは敵対的攻撃に対して顕著な性能低下を示す：BC5CDR-Chemical NERではスワップノイズ下でF1スコアが63.8％に低下し、STSでは52.8％に低下。
• STSタスクにおける同義語攻撃では、元のテストセット（0.829）よりも高いピアソン相関（0.869）を達成しており、一部のケースで敵対的例が類似度スコアを向上させることを示唆している。
• 同義語およびタイポ攻撃を用いた敵対的訓練によりロバスト性が向上：スワップノイズ下で、敵対的微調整後、BC5CDR-Disease NERのF1スコアは63.8％から65.6％に上昇。
• PubMedのみで事前学習したモデルは、PubMed + MIMIC-IIIで事前学習したモデルよりも敵対的ロバスト性が優れており、語彙拡張が一般化性能を向上させるという予想とは逆の結果であった。
• 敵対的訓練は元のテストセットでの高いパフォーマンスを維持している——例として、BC5CDR-Chemical NERではF1スコアが0.88以上を維持している——これは標準パフォーマンスに対する顕著なトレードオフがないことを示している。
• STSタスクでは同義語攻撃に対して一貫性のない挙動を示しており、一部のモデルでは敵対的セットでの相関係数が元のセットを上回っている。これは、敵対的例に分布シフトが生じている可能性を示唆している。