[論文レビュー] Hurtful Words: Quantifying Biases in Clinical Contextual Word Embeddings

Haoran Zhang, Amy X. Lu+3 more|arXiv (Cornell University)|Mar 11, 2020

Artificial Intelligence in Healthcare and Education参考文献 69被引用数 29

ひとこと要約

本稿では、MIMIC-IIIのノートに微調整された臨床的BERT埋め込みにおけるバイアスを、性別、言語、民族、保険状況の各属性について対象としたログ確率バイアススコアと公平性指標を用いて調査している。主なグループに有利な顕著なパフォーマンス格差が認められ、弱い立場にある患者に対して有害な推奨事項を生成する傾向があることが判明した。また、敵対的デバイアス処理を完全な解決策とすることは警告されている。

ABSTRACT

In this work, we examine the extent to which embeddings may encode marginalized populations differently, and how this may lead to a perpetuation of biases and worsened performance on clinical tasks. We pretrain deep embedding models (BERT) on medical notes from the MIMIC-III hospital dataset, and quantify potential disparities using two approaches. First, we identify dangerous latent relationships that are captured by the contextual word embeddings using a fill-in-the-blank method with text from real clinical notes and a log probability bias score quantification. Second, we evaluate performance gaps across different definitions of fairness on over 50 downstream clinical prediction tasks that include detection of acute and chronic conditions. We find that classifiers trained from BERT representations exhibit statistically significant differences in performance, often favoring the majority group with regards to gender, language, ethnicity, and insurance status. Finally, we explore shortcomings of using adversarial debiasing to obfuscate subgroup information in contextual word embeddings, and recommend best practices for such deep embedding models in clinical settings.

研究の動機と目的

• 臨床的文脈的単語埋め込みが、性別、言語、民族、保険状況などの保護された属性に関連するバイアスを含んでいるかどうかを調査すること。
• 下流の臨床予測タスクにおけるログ確率バイアススコアと公平性指標を用いて、モデル行動の格差を定量化すること。
• 敵対的デバイアス処理が、臨床的BERT表現におけるサブグループバイアスを軽減する効果を評価すること。
• 特に高リスクの臨床意思決定支援システムにおいて、バイアスのあるモデルを導入する際のリスクを強調すること。
• 臨床現場における公平で信頼性が高く、公正なNLPシステムを開発するためのベストプラクティスを提言すること。

提案手法

• 150万件の臨床ノートを含むMIMIC-IIIデータセットを用いて、SciBERTで初期化されたBERTモデルを微調整し、臨床的BERTベースラインを構築した。
• 実際の臨床ノートテンプレートを用いた穴埋めタスクを通じて、性別代名詞のログ確率バイアススコアを算出し、モデルが医療文脈における性別との関連性にどの程度の自信を持っているかを測定した。
• 3つの公平性定義（デモグラフィックパリティ、正例と負例における機会の平等）を用いて、50以上の下流臨床予測タスクにおける公平性を評価した。
• 表現における保護された属性情報の隠蔽を目的として、微調整中に敵対的デバイアス処理を適用し、公平性とパフォーマンスへの影響を評価した。
• 人種と性別の異なるプロンプトを用いた場合の生成された臨床的推奨事項の定性的分析を通じて、保護されたグループ間のモデル行動を比較した。
• 下流タスクのゴールドスタンダードラベルとしてICD-9コードを用いたが、保険請求ベースのコード化に起因するラベルバイアスや誤りの可能性にも言及した。

実験結果

リサーチクエスチョン

• RQ1 臨床的BERT埋め込みは、性別や人種などの保護された属性と臨床的状態の間のバイアス関係をどの程度にまでエンコードしているか？
• RQ2 BERT表現を用いた下流の臨床予測タスクにおいて、保護されたグループ間でパフォーマンス格差はどのように現れるか？
• RQ3 敵対的デバイアス処理は、臨床NLPモデルにおけるサブグループのパフォーマンス格差を効果的に低減できるか？
• RQ4 臨床ノートでの事前学習が、医療テキスト内における性別的関連性へのモデルの自信にどのような影響を与えるか？
• RQ5 MIMIC-IIIに微調整した後、臨床文脈における男性と女性の代名詞のログ確率バイアススコアはどのように変化するか？

主な発見

• 臨床的BERTモデルは、性別、言語、民族、保険状況の各属性において、保護されたグループ間で統計的に有意なパフォーマンス格差を示しており、主なグループのほうが高い正確性を示した。
• 臨床ノートに微調整した後、ログ確率バイアススコアが上昇した。これは、モデルが生物学的関連性を超えて、性別と特定の疾患をより強く関連づける自信を持つようになったことを示している。
• 穴埋めタスクにおいて、臨床的文脈を一定に保った状態でも、アフリカ系アメリカ人の患者に対して白人患者よりも有害または不適切な臨床的推奨事項を生成した。
• 敵対的デバイアス処理は、パフォーマンス格差を完全に解消できず、むしろ根本的なバイアスを隠すだけであり、臨床現場での信頼性に懸念を呈するものであった。
• 本研究では、埋め込みにおけるバイアスが単にデータの不均衡に起因するのではなく、臨床テキストからステレオタイプ的関連性を学習・エンコードするモデルの能力によって拡大されることを明らかにした。
• 医療現場において、患者の安全が損なわれるおそれがあるため、デモグラフィックパリティのような公平性定義は問題であることが判明した。