[논문 리뷰] DOVA: Deliberation-First Multi-Agent Orchestration for Autonomous Research Automation

Aaron Shen, Alfred Shen|arXiv (Cornell University)|2026. 03. 04.

Topic Modeling인용 수 0

한 줄 요약

DOVA는 자율 연구 작업을 위한 심의 선행의 하이브리드 다에이전트 오케스트레이션으로, 세 가지 협업 패턴과 적응적 사고를 결합해 출처 커버리지, 신뢰도, 토큰 효율성을 개선하고 불필요한 도구 호출을 줄입니다.

ABSTRACT

Large language model (LLM) agents have demonstrated remarkable capabilities in tool use, reasoning, and code generation, yet single-agent systems exhibit fundamental limitations when confronted with complex research tasks demanding multi-source synthesis, adversarial verification, and personalized delivery. We present DOVA (Deep Orchestrated Versatile Agent), a multi-agent platform introducing three key innovations: (1) deliberation-first orchestration, where explicit meta-reasoning precedes tool invocation, informed by a persistent user model and entity-aware conversation context; (2) hybrid collaborative reasoning, a composable three-phase pipeline unifying ensemble diversity, blackboard transparency, and iterative refinement; and (3) adaptive multi-tiered thinking, a six-level token-budget allocation scheme that reduces inference cost by 40-60% on simple tasks while preserving deep reasoning capacity. We formalize the core algorithms, present an architectural ablation study across seven system configurations, and analyze the contribution of each component to answer confidence, source coverage, and token efficiency.

연구 동기 및 목표

• 다중 소스의 합성 및 검증이 필요한 복잡한 연구 작업에서 단일 에이전트 LLM 시스템의 한계를 동기 부여하고 해결한다.
• 도구 호출 시점을 판단하기 위해 deliberation-first 오케스트레이션을 사용하는 다중 에이전트 플랫폼을 제안한다.
• 폭넓음, 투명성, 심층성을 균형 잡기 위한 하이브리드 협력적 추론 파이프라인을 개발한다.
• 추론 품질을 유지하면서 토큰을 절감하는 적응형 다계층 사고를 도입한다.
• 제거 연구를 통해 아키텍처를 시연하고 신뢰도, 출처 커버리지, 효율성에 미치는 영향을 측정한다.

제안 방법

• 사전 동작 전 도구 호출을 결정하기 위해 지속적인 사용자 모델과 엔티티 인식 컨텍스트를 사용하는 deliberation-first 오케스트레이션.
• 앙상블, 블랙보드, 반복적 정제 단계를 구성하는 하이브리드 협력적 추론.
• 작업 유형과 복잡성에 따라 토큰 예산을 매핑하는 적응형 6단계 사고 예산.
• 계층화된 메모리 아키텍처 전반에서 MMR을 사용한 다양성 인식 메모리 검색.
• 동적 플러그인을 통한 Claude Code 통합으로 REST, CLI, 브라우저 UI 및 MCP 서버를 노출하는 통합 다중 모달 인터페이스.
• 구조화된 합성으로 평가적 질의에 대한 다라운드 적대적 토론(Bull-vs-Bear).

Figure 1 : Layered architecture of Dova . Queries enter through the Interface Layer, pass through Orchestration (with deliberation), dispatch to specialized agents, which leverage collaborative reasoning and intelligence services.

실험 결과

연구 질문

• RQ1 사전 deliberation 기반 오케스트레이션이 반사적 도구 호출에 비해 도구 사용과 응답 품질에 어떤 영향을 미치는가?
• RQ2 다양한 복잡성의 작업에서 하이브드 협력 추론이 신뢰도, 출처 커버리지, 토큰 효율성에 미치는 영향은 무엇인가?
• RQ3 간단하고 복잡한 연구 과제에서 적응형 다계층 사고가 답변 품질을 저하시키지 않으면서 토큰 사용을 줄일 수 있는가?
• RQ4 기억 다양성 및 적대적 토론이 합성 출력의 신뢰성과 검증에 미치는 효과는 무엇인가?

주요 결과

• 하이브리드 협력 추론이 가장 큰 성능 향상을 가져오며, 제거 연구에서 협업을 제거하면 신뢰도는 0.14, 커버리지 0.25가 감소한다.
• 적응형 사고는 간단한 작업(예: 분류 및 요약)에서 상당한 토큰 절감 효과를 제공하며 신뢰도에 미치는 영향은 최소화된다.
• 심의로 불필요한 도구 호출이 줄어들고 지연이 감소하여 비용 효율성이 향상된다.
• ReAct 기반 단일 패스 추론은 전체 DOVA 파이프라인과 비교하여 신뢰도 측면에서 현저히 낮다.
• 자체 평가와 메모리 맥락이 정제 속도와 평가 정확도를 향상시켜 저품질 출력 완화에 기여한다.