[論文レビュー] The hybrid confirmation tree: A robust strategy for hybrid intelligence

Julian Berger, Pantelis P. Analytis+4 more|arXiv (Cornell University)|Feb 2, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

Paperはハイブリッド確認ツリーを導入する。人間とAIが独立に判断し、意見が一致すれば決定、意見が不一致の場合は二人目の人間が容認/拒否を覆すことで、六つの実世界データセット全体で人間多数決より高い正確性を、必要な人間労力を低くして達成する。

ABSTRACT

Combining human and artificial intelligence (AI) is a potentially powerful approach to boost decision accuracy. However, few such approaches exist that effectively integrate both types of intelligence while maintaining human agency. Here, we introduce and evaluate the hybrid confirmation tree, a simple aggregation strategy that compares the independent decisions of both a human and AI, with disagreements triggering a second human tiebreaker. Through analytical derivations, we show that the hybrid confirmation tree can match and exceed the accuracy of a three-person human majority vote while requiring fewer human inputs, particularly when AI accuracy is comparable to or exceeds human accuracy. We analytically demonstrate that the hybrid confirmation tree's ability to achieve complementarity -- outperforming individual humans, AI, and the majority vote -- is maximized when human and AI accuracies are similar and their decisions are not overly correlated. Empirical reanalysis of six real-world datasets (covering skin cancer diagnosis, deepfake detection, geopolitical forecasting, and criminal rearrest) validates these findings, showing that the hybrid confirmation tree improves accuracy over the majority vote by up to 10 percentage points while reducing the cost of decision making by 28--44$\%$. Furthermore, the hybrid confirmation tree provides greater flexibility in navigating true and false positive trade-offs compared to fixed human-only heuristics like hierarchies and polyarchies. The hybrid confirmation tree emerges as a practical, efficient, and robust strategy for hybrid collective intelligence that maintains human agency.

研究の動機と目的

• 人間の主体性を保ちつつAIの強みを活用する頑健なハイブリッド知性を動機づける。
• 人間とAIの判断を組み合わせる、シンプルで透明性のある統合規則を開発する。
• 精度と意思決定の相関が補完的な性能にどう影響するかを分析する。
• 多様で高リスクなデータセットを横断して方法を実証的に検証する。

提案手法

• ハイブリッド確認ツリーを定義する：独立した人間と機械の判断；一致で決定を終了；不一致の場合は第2の人間が拒否権を行使。
• HCTを三者多数決および二者階層/ポリアーキーと分析的導出で比較する。
• 人間–機械の相関（kappa）が性能と補完性に与える影響をモデル化する。
• 実世界データ六件の実データセットでHCTを評価し、真偽の閾値出力を機械側で調整して検証する。
• 多数決と比較して人間判断のコスト削減を評価する。
• ROC様分析を用いて閾値設定下の真陽性/偽陽性の柔軟なトレードオフを示す。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド確認ツリーは、人間のみの多数決、機械のみの判断、あるいはその両方を上回る条件はどのようなときか。
• RQ2 人間同士および人間–機械の相関が補完的な性能の可能性にどう影響するか。
• RQ3 ハイブリッド確認ツリーは人間の労力を減らしつつ柔軟な誤りトレードオフ（真陽性/偽陽性）を提供できるか。
• RQ4 機械予測の閾値調整は領域を超えて精度とコストにどのように影響するか。

主な発見

Domain	Citation	Cases	Humans	Choices	Type of machine (Source)
Skin Cancer (Derm)	Brinker et al. (2019a, b)	100	157	15,700	CNN (own model)
Skin Cancer (Nonderm)	Brinker et al. (2019a, b)	100	145	14,500	CNN (own model)
Deepfakes	Groh et al. (2022)	54	132	1,347	CNN (Seferbekov 2021)
Criminal Rearrest	Angwin et al. (2016), Dressel and Farid (2018)	1,000	400	20,000	Logistic regression (own model)
Hybrid Forecasting Competition	Benjamin et al. (2023)	52	111	1,055	Time series regression (Benjamin et al. 2023)
ForecastBench	Karger et al. (2025)	422	500	21,302	LLM (Karger et al. 2025)

• HCTは六分野すべてで人間の多数決を上回り、少なくとも2.3ポイント、最大で10.4ポイント改善した。
• HCTは多数決と比較して必要な人間判断を28%〜44%削減した。
• HCTは機械のみには及ばないが、精度と相関によっては人間のみのベースラインに匹敵するか上回ることがある。
• 補完性はAIの精度が人間の精度と同等かそれ以上で、意思決定の相関がそれほど高くない場合に最も高い。
• HCTは機械予測の閾値調整を通じて真陽性/偽陽性のトレードオフを柔軟に制御できる。
• データセット全体でHCTは多数決よりも精度が高く、人間コストの大幅な削減をもたらす一方、機械のみには必ずしも勝てない。