[논문 리뷰] The hybrid confirmation tree: A robust strategy for hybrid intelligence

Julian Berger, Pantelis P. Analytis외 4명|arXiv (Cornell University)|2026. 02. 02.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

본 논문은 하이브리드 컨펌테이션 트리(Hybrid Confirmation Tree)를 제시한다. 이는 인간과 AI가 독립적으로 판단하고, 의견이 다를 때 두 번째 인간이 동률을 깨는 간단한 인간–AI 의사결정 규칙으로, 여섯 개의 실제-world 데이터셋에서 인간 다수결보다 더 높은 정확도와 더 낮은 인간 노력을 달성한다.

ABSTRACT

Combining human and artificial intelligence (AI) is a potentially powerful approach to boost decision accuracy. However, few such approaches exist that effectively integrate both types of intelligence while maintaining human agency. Here, we introduce and evaluate the hybrid confirmation tree, a simple aggregation strategy that compares the independent decisions of both a human and AI, with disagreements triggering a second human tiebreaker. Through analytical derivations, we show that the hybrid confirmation tree can match and exceed the accuracy of a three-person human majority vote while requiring fewer human inputs, particularly when AI accuracy is comparable to or exceeds human accuracy. We analytically demonstrate that the hybrid confirmation tree's ability to achieve complementarity -- outperforming individual humans, AI, and the majority vote -- is maximized when human and AI accuracies are similar and their decisions are not overly correlated. Empirical reanalysis of six real-world datasets (covering skin cancer diagnosis, deepfake detection, geopolitical forecasting, and criminal rearrest) validates these findings, showing that the hybrid confirmation tree improves accuracy over the majority vote by up to 10 percentage points while reducing the cost of decision making by 28--44$\%$. Furthermore, the hybrid confirmation tree provides greater flexibility in navigating true and false positive trade-offs compared to fixed human-only heuristics like hierarchies and polyarchies. The hybrid confirmation tree emerges as a practical, efficient, and robust strategy for hybrid collective intelligence that maintains human agency.

연구 동기 및 목표

• Robust hybrid intelligence를 모티브로 삼아 인간의 주체성을 유지하면서 AI의 강점을 활용합니다.
• 간단하고 투명한 합의 규칙을 개발합니다: 인간과 AI 판단의 조합.
• 정확도와 의사결정 상관관계가 보완적 성능에 미치는 영향을 분석합니다.
• 다양하고 고위험 데이터셋에서 방법을 실증적으로 검증합니다.

제안 방법

• 하이브리드 컨펌테이션 트리를 정의합니다: 독립적인 인간 및 기계 판단; 합의가 의사결정을 종료합니다; 불일치 시 두 번째 인간의 거부권이 발동합니다.
• HCT를 세 명의 다수결 및 두 사람의 위계/다원화에 대해 분석 도출로 비교합니다.
• 인간–기계 상관관계(kappa)가 성능 및 보완성에 미치는 영향을 모델링합니다.
• Ground truth가 있는 여섯 개의 실제 데이터셋에서 HCT를 평가합니다; 기계 확률 출력에 대한 임계값 튜닝을 테스트합니다.
• 다수결에 비해 인간 판단 비용 절감을 평가합니다.
• 임계값 설정하에서 ROC 유사 분석을 사용하여 진실/거짓 양성 간의 유연한 균형을 보여줍니다.

실험 결과

연구 질문

• RQ1 하이브리드 컨펌테이션 트리가 인간 단독 다수결, 기계 단독 의사결정, 또는 두 가지 모두를 능가하는 조건은 무엇인가?
• RQ2 인간–인간 및 인간–기계 상관관계가 보완적 성능 가능성에 어떤 영향을 미치는가?
• RQ3 하이브리드 컨펌테이션 트리가 인간 노력을 줄이면서도 유연한 오류 트레이드오프(true/false positives)를 제공할 수 있는가?
• RQ4 기계 예측에 대한 임계값 튜닝이 도메인 간 정확도와 비용에 어떤 영향을 주는가?

주요 결과

도메인	인용	케이스	사람들	선택	기계 유형(소스)
Skin Cancer (Derm)	Brinker et al. (2019a, b)	100	157	15,700	CNN (own model)
Skin Cancer (Nonderm)	Brinker et al. (2019a, b)	100	145	14,500	CNN (own model)
Deepfakes	Groh et al. (2022)	54	132	1,347	CNN (Seferbekov 2021)
Criminal Rearrest	Angwin et al. (2016), Dressel and Farid (2018)	1,000	400	20,000	Logistic regression (own model)
Hybrid Forecasting Competition	Benjamin et al. (2023)	52	111	1,055	Time series regression (Benjamin et al. 2023)
ForecastBench	Karger et al. (2025)	422	500	21,302	LLM (Karger et al. 2025)

• HCT는 여섯 개 도메인 모두에서 인간 다수결보다 더 나은 성능을 보였으며, 최소 2.3%포인트에서 최대 10.4%포인트의 차이를 보였습니다.
• HCT는 다수결 대비 필요한 인간 판단을 28%에서 44%까지 감소시켰습니다.
• HCT는 기계 단독에는 미치지 못하지만, 정확도와 상관관계에 따라 인간 단독 베이스라인과 일치하거나 이를 상회할 수 있습니다.
• 보완성은 AI 정확도가 인간 정확도와 같거나 더 좋고 의사결정 상관관계가 그리 높지 않을 때 가장 큽니다.
• HCT는 기계 예측 임계값 튜닝을 통해 진실/거짓 양성 간의 균형을 유연하게 제어합니다.
• 데이터셋 전반에서 HCT는 다수결보다 더 나은 정확도와 상당한 인간 비용 절감 효과를 보였지만 항상 기계 단독보다 우수하지는 않었습니다.