[논문 리뷰] Decomposing Physician Disagreement in HealthBench

Satya Borgohain, Roy Mariathas|arXiv (Cornell University)|2026. 02. 26.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

이 논문은 HealthBench에서 의사의 의견 불일치의 분산을 분석하여, 평가 지표의 정체성(rubric identity)이 라벨 분산의 일부를 설명하지만 불일치 분산의 거의 대부분은 설명하지 못하며, 대부분의 불일치는 큰 사례 수준 잔차에 의해 좌우된다는 것을 보여준다; 감소 가능한 불확실성은 불일치 확률을 두 배로 늘릴 수 있으며, 이는 평가 설계 개선을 시사한다.

ABSTRACT

We decompose physician disagreement in the HealthBench medical AI evaluation dataset to understand where variance resides and what observable features can explain it. Rubric identity accounts for 15.8% of met/not-met label variance but only 3.6-6.9% of disagreement variance; physician identity accounts for just 2.4%. The dominant 81.8% case-level residual is not reduced by HealthBench's metadata labels (z = -0.22, p = 0.83), normative rubric language (pseudo R^2 = 1.2%), medical specialty (0/300 Tukey pairs significant), surface-feature triage (AUC = 0.58), or embeddings (AUC = 0.485). Disagreement follows an inverted-U with completion quality (AUC = 0.689), confirming physicians agree on clearly good or bad outputs but split on borderline cases. Physician-validated uncertainty categories reveal that reducible uncertainty (missing context, ambiguous phrasing) more than doubles disagreement odds (OR = 2.55, p < 10^(-24)), while irreducible uncertainty (genuine medical ambiguity) has no effect (OR = 1.01, p = 0.90), though even the former explains only ~3% of total variance. The agreement ceiling in medical AI evaluation is thus largely structural, but the reducible/irreducible dissociation suggests that closing information gaps in evaluation scenarios could lower disagreement where inherent clinical ambiguity does not, pointing toward actionable evaluation design improvements.

연구 동기 및 목표

• HealthBench에서 의사 불일치의 분산이 어디에서 발생하는지 이해한다.
• 불일치 분산에 대한 루브릭 정체성(rubric identity), 의사 정체성(physician identity), 메타데이터(metadata)의 기여를 정량화한다.
• 관찰 가능한 특징이 불일치를 설명하는지 평가하고 실행 가능한 평가 설계 개선점을 식별한다.

제안 방법

• 루브릭 정체성, 의사 정체성, 사례 수준 요인을 across? HealthBench 불일치의 분산을 루브릭 정체성, 의사 정체성, 사례 수준 요인으로 분해한다.
• 메타데이터 라벨, 규범적 루브릭 언어의 의사-추정된 R^2(pseudo R^2), 의학 전문 분야, 표면 특징, 임베딩의 예측력을 평가한다(또는 AUCs).
• 의사 검증 불확실성 범주를 모델링하여 감소가능한 불확실성과 불가피한 불확실성을 구분하고 불일치 확률에 대한 영향을 분석한다.

실험 결과

연구 질문

• RQ1 루브릭 정체성, 의사 정체성, 메타데이터에 의해 불일치 분산의 어느 부분이 설명되는가?
• RQ2 관찰 가능한 특징(메타데이터, 언어, 전문 분야, 표면 특징, 임베딩)이 불일치를 예측하는가?
• RQ3 경계 케이스에서 불일치가 더 높은가, 그리고 완료 품질이 합의에 어떤 영향을 미치는가?
• RQ4 감소가능한 불확실성과 불가피한 불확실성이 불일치 확률에 어떤 영향을 미치는가?

주요 결과

• 루브릭 정체성은 합/비합 상태 라벨 분산의 15.8%를 설명하지만 불일치 분산의 3.6-6.9%에 불과하다.
• 의사 정체성은 불일치 분산의 2.4%를 설명한다.
• 크게 남은 81.8%의 사례 수준 잔차가 분석된 특징으로 설명되지 않는다.
• 메타데이터 라벨(z = -0.22, p = 0.83), 루브릭 언어의 pseudo R^2(1.2%), 의학 전문 분야(Tukey 쌍 비교에서 유의하지 않음), 표면 특징 분류(AUC = 0.58), 임베딩(AUC = 0.485)은 잔차를 감소시키지 못한다.
• 불일치는 완료 품질과 함께 역 U 형태를 보인다(AUC = 0.689).
• 감소가능한 불확실성(맥락 누락, 모호한 표현)이 불일치 확률을 두 배 이상 증가시키고(OR = 2.55, p < 10^(-24)); 불가피한 불확실성은 영향이 없다(OR = 1.01, p = 0.90).
• 심지어 감소가능한/불가피한 불확실성도 전체 분산의 약 3%만을 설명한다.
• 결론: 합의 한계치는 대체로 구조적이며, 정보 격차를 해소하는 것은 임상적 모호성이 적용되지 않는 곳에서 불일치를 줄일 수 있다.