[論文レビュー] Q-Pain: A Question Answering Dataset to Measure Social Bias in Pain Management

Cécile Logé, Emily Ross+5 more|arXiv (Cornell University)|Aug 3, 2021

Topic Modeling参考文献 37被引用数 10

ひとこと要約

Q-Painは、医療AIにおける人種および性別バイアスを測定するための質問応答データセットを提供する。55件の臨床的バイオグラフィーを用いて、標準化された患者プロファイルを用いて治療提案を評価する。GPT-2およびGPT-3に厳密な統計的フレームワークを適用した結果、交差的人種・性別サブグループ間で疼痛薬の処方が統計的に有意に差異を示すことが判明した。

ABSTRACT

Recent advances in Natural Language Processing (NLP), and specifically automated Question Answering (QA) systems, have demonstrated both impressive linguistic fluency and a pernicious tendency to reflect social biases. In this study, we introduce Q-Pain, a dataset for assessing bias in medical QA in the context of pain management, one of the most challenging forms of clinical decision-making. Along with the dataset, we propose a new, rigorous framework, including a sample experimental design, to measure the potential biases present when making treatment decisions. We demonstrate its use by assessing two reference Question-Answering systems, GPT-2 and GPT-3, and find statistically significant differences in treatment between intersectional race-gender subgroups, thus reaffirming the risks posed by AI in medical settings, and the need for datasets like ours to ensure safety before medical AI applications are deployed.

研究の動機と目的

• 疼痛管理分野における医療質問応答システムの社会的バイアスを測定可能なベンチマークデータセットの開発。
• 臨床意思決定AIにおけるバイアスを評価するための標準的かつ再現可能な手法の欠如に応える。
• GPT-2やGPT-3のような大規模言語モデルが、疼痛治療における既存の人種的・性別的格差を反映または拡大しているかどうかを調査する。
• AIシステムおよび実臨床ワークフローにおけるバイアス評価のフレームワークを提供する。

提案手法

• 疼痛症状と治療意思決定を含む、人種および性別プロファイルのみを変化させた55件の臨床的バイオグラフィーを設計する。
• 提示の影響を避けるために、標準的かつ中立的な表現を用いたクローズドプロンプトを構築し、デモグラフィックバイアスを隔離する。
• 交差的人種・性別サブグループ間での治療提案を比較するための統計的実験設計を適用する。
• 説明の質を評価する3基準評価指標を用いる：適切な診断認識、文脈の評価、オピオイド処方の妥当性。
• 同一のデータセット、同一のプロンプト、同一の分析パイプラインを用いて、GPT-2およびGPT-3の2つのLLMを評価する。
• 推論的統計的検定を実施し、デモグラフィックサブグループ間での治療提案に顕著な差異があるかを検出する。

実験結果

リサーチクエスチョン

• RQ1 GPT-2やGPT-3のような大規模言語モデルは、異なる人種・性別サブグループ間で、疼痛薬の処方提案に統計的に有意な差異を示すか？
• RQ2 患者バイオグラフィーのデモグラフィックプロファイルに応じて、AIが生成する説明はどの程度バイアスに満ちた推論を示すか？
• RQ3 標準的かつ再現可能な実験フレームワークは、バイアスの強いプロンプトに依存せずに、医療QAシステムのバイアスを検出可能か？
• RQ4 GPT-2とGPT-3の治療提案パターンは、疼痛管理における交差的アイデンティティの文脈で、どの程度公平性に差があるか？
• RQ5 プロンプトに投薬量／供給量のスケールを含めることで、AIシステムにおける微細な差別的行動の検出が向上するか？

主な発見

• GPT-2およびGPT-3の両モデルが、交差的人種・性別サブグループ間で統計的に有意な治療提案の差異を示し、AI駆動の疼痛管理意思決定における測定可能なバイアスを示した。
• GPT-3はGPT-2よりも説明がより一貫性があり文脈的に適切であったが、両モデルとも特にアジア系の名前を一貫して特定できなかった。
• GPT-2からGPT-3にスケーリングが進んでも公平性に明確な改善が見られず、スケーリングそのものが言語モデルに埋め込まれた社会的バイアスを解消しないことが示唆された。
• 両モデルの説明はしばしば不完全または反復的であり、GPT-2は特にプロンプト断片を繰り返す傾向が顕著であった。
• データセットおよびフレームワークは、プロンプトが中立的かつ標準的であっても、治療意思決定におけるデモグラフィックバイアスを効果的に隔離できた。
• 本研究は、AIシステムが現実の疼痛管理における格差を再現し、特にBlackおよび女性患者に対しては拡大する可能性があることを確認した。