[論文レビュー] Decomposing Physician Disagreement in HealthBench

Satya Borgohain, Roy Mariathas|arXiv (Cornell University)|Feb 26, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

本研究は HealthBench での医師の不一致の分散を分析し、ルブリック識別がラベル分散の一部を説明する一方で不一致分散の説明には限られ、ほとんどの不一致は大きなケース水準の残差によって推進されることを示す。 reducible な不確実性は不一致のオッズを倍増させうることを示唆し、評価設計の改善が必要である。

ABSTRACT

We decompose physician disagreement in the HealthBench medical AI evaluation dataset to understand where variance resides and what observable features can explain it. Rubric identity accounts for 15.8% of met/not-met label variance but only 3.6-6.9% of disagreement variance; physician identity accounts for just 2.4%. The dominant 81.8% case-level residual is not reduced by HealthBench's metadata labels (z = -0.22, p = 0.83), normative rubric language (pseudo R^2 = 1.2%), medical specialty (0/300 Tukey pairs significant), surface-feature triage (AUC = 0.58), or embeddings (AUC = 0.485). Disagreement follows an inverted-U with completion quality (AUC = 0.689), confirming physicians agree on clearly good or bad outputs but split on borderline cases. Physician-validated uncertainty categories reveal that reducible uncertainty (missing context, ambiguous phrasing) more than doubles disagreement odds (OR = 2.55, p < 10^(-24)), while irreducible uncertainty (genuine medical ambiguity) has no effect (OR = 1.01, p = 0.90), though even the former explains only ~3% of total variance. The agreement ceiling in medical AI evaluation is thus largely structural, but the reducible/irreducible dissociation suggests that closing information gaps in evaluation scenarios could lower disagreement where inherent clinical ambiguity does not, pointing toward actionable evaluation design improvements.

研究の動機と目的

• HealthBench における医師の不一致の分散がどこから生じるかを理解する。
• ルブリック識別、医師識別、メタデータが不一致分散に寄与する度合いを定量化する。
• 観測可能な特徴が不一致を説明するかを評価し、実践的な評価設計の改善点を特定する。

提案手法

• ルブリック識別、医師識別、ケース水準要因全体にわたる HealthBench の不一致の分散を分解する。
• メタデータラベルの予測力、規範的ルブリック言語の擬似R^2、医療専門分野、表面特徴、埋め込みの AUC を評価する。
• 医師が検証した不確実性カテゴリをモデル化し、 reducible 不確実性と irreducible 不確実性 を分離して不一致のオッズへの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 不一致分散のうち、ルブリック識別、医師識別、メタデータによって説明される割合はどれくらいか。
• RQ2 観測可能な特徴（メタデータ、言語、専門、表面特徴、埋め込み）は不一致を予測するか。
• RQ3 境界ケースでの不一致は高いか、完了品質は合意にどう影響するか。
• RQ4 reducible 不確実性と irreducible 不確実性 は不一致オッズにどのように影響するか。

主な発見

• ルブリック識別はメト/有無ラベル分散の 15.8% を説明するが、不一致分散の説明には 3.6-6.9% にとどまる。
• 医師識別は不一致分散の 2.4% を説明する。
• 大きなケース水準の残差が 81.8% と分析特徴で説明不能のまま残る。
• メタデータラベル（z = -0.22, p = 0.83）、ルブリック言語の擬似R^2（1.2%）、医療専門分野（有意な Tukey 対比較なし）、表面特徴のトライアージ（AUC = 0.58）、埋め込み（AUC = 0.485）は残差を減らさない。
• 不一致は完了品質と反転U字型の関係を示す（AUC = 0.689）。
• reducible 不確実性（文脈欠如、曖昧な表現）は不一致オッズを2倍超に増加させる（OR = 2.55, p < 10^(-24)）； irreducible 不確実性は効果なし（OR = 1.01, p = 0.90）。
• reducible/irreducible 不確実性ですら総分散の約 3% しか説明しない。
• 結論：同意の天井は主に構造的であり、情報ギャップを埋めることは臨床的あいまいさが適用されない箇所での不一致を低減しうる。