[논문 리뷰] Transitive Expert Error and Routing Problems in Complex AI Systems

Forest Mars|arXiv (Cornell University)|2026. 01. 07.

Embodied and Extended Cognition인용 수 0

한 줄 요약

본 논문은 Transitive Expert Error (TEE)를 정의하고 도메인 전문가 경계가 경계에서 취약성을 만들며, 이로 인해 AI 시스템의 라우팅 및 커버리지 실패가 발생함을 보이며, 제안된 아키텍처 개입을 제시한다.

ABSTRACT

Domain expertise enhances judgment within boundaries but creates systematic vulnerabilities specifically at borders. We term this Transitive Expert Error (TEE), distinct from Dunning-Kruger effects, requiring calibrated expertise as precondition. Mechanisms enabling reliable within-domain judgment become liabilities when structural similarity masks causal divergence. Two core mechanisms operate: structural similarity bias causes experts to overweight surface features (shared vocabulary, patterns, formal structure) while missing causal architecture differences; authority persistence maintains confidence across competence boundaries through social reinforcement and metacognitive failures (experts experience no subjective uncertainty as pattern recognition operates smoothly on familiar-seeming inputs.) These mechanism intensify under three conditions: shared vocabulary masking divergent processes, social pressure for immediate judgment, and delayed feedback. These findings extend to AI routing architectures (MoE systems, multi-model orchestration, tool-using agents, RAG systems) exhibiting routing-induced failures (wrong specialist selected) and coverage-induced failures (no appropriate specialist exists). Both produce a hallucination phenotype: confident, coherent, structurally plausible but causally incorrect outputs at domain boundaries. In human systems where mechanisms are cognitive black boxes; AI architectures make them explicit and addressable. We propose interventions: multi-expert activation with disagreement detection (router level), boundary-aware calibration (specialist level), and coverage gap detection (training level). TEE has detectable signatures (routing patterns, confidence-accuracy dissociations, domain-inappropriate content) enabling monitoring and mitigation. What remains intractable in human cognition becomes addressable through architectural design.

연구 동기 및 목표

• 도메인 전문성 경계가 AI 시스템에 체계적 취약점을 어떻게 만들어내는지 식별한다.
• TEE를 이끄는 메커니즘(구조적 유사성 편향과 권위 지속성)을 특징짓는다.
• MoE, 다중 모델 오케스트레이션, RAG와 같은 라우팅 아키텍처가 라우팅- 및 커버리지로 인한 실패를 어떻게 나타내는지 설명한다.
• TEE를 탐지하고 완화하기 위한 아키텍처적 및 학습 차원의 개입을 제시한다.

제안 방법

• 본 논문은 구조적 유사성이 도메인 간 인과적 발산을 가리는 방식과 표면 특징에 대한 과도한 의존으로 이어질 수 있음을 분석한다.
• 권위 지속성과 메타인지적 실패를 능력 경계 전반에서 지속적 신념의 원인으로 식별한다.
• TEE를 AI 라우팅 아키텍처에 매핑하고, 라우팅 결정이 잘못된 전문가를 선택하거나 커버리지가 누락될 수 있는 방법을 설명한다.
• 다중 전문가 활성화와 불일치 탐지, 경계 인식 보정, 커버리지 격차 탐지 등 개입을 제시한다.
• 모니터링을 위한 라우팅 패턴 및 신뢰도-정확도 불일치와 같은 탐지 가능 서명을 논의한다.

실험 결과

연구 질문

• RQ1 AI 시스템의 도메인 경계에서 Transitive Expert Error의 기작은 무엇인가?
• RQ2 라우팅 아키텍처가 라우팅-유발 및 커버리지-유발 실패에 어떻게 기여하는가?
• RQ3 라우터, 전문가, 학습 차원에서 TEE를 완화할 수 있는 개입은 무엇인가?
• RQ4 TEE를 나타내는 탐지 가능한 신호는 무엇이며 어떻게 모니터링할 수 있는가?
• RQ5 아키텍처 설계가 인간의 인지적 블랙박스를 AI에서 명시적으로 다루도록 만들 수 있는가?

주요 결과

• 구조적 유사성이 도메인 간 인과 차이를 가리면서 TEE가 발생하고, 권위 지속성이 과도한 자신감을 유지시킨다.
• 공통 어휘와 패턴은 표면 특징의 과대 가중치를 유발해 잘못된 도메인 판단으로 이어질 수 있다.
• 라우팅 아키텍처는 잘못된 전문가를 선택하거나 도메인을 커버하지 못해 경계에서 망상과 유사한 출력을 생성할 수 있다.
• TEE에는 라우팅 패턴 및 신뢰도-정확도 불일치와 같은 탐지 가능한 서명이 있다.
• 다중 전문가 불일치 탐지, 경계 인식 보정, 커버리지 격차 탐지를 통해 아키텍처 차원의 개입이 TEE를 완화할 수 있다.