[논문 리뷰] Specification-Driven Generation and Evaluation of Discrete-Event World Models via the DEVS Formalism
본 논문은 DEVS 형식을 사용하여 자연언어 명세로부터 실행 가능한 이산 이벤트 월드 모델을 합성하는 파이프라인을 제시하며, 명세 준수 및 장기적 일관성을 보장하기 위해 trace 기반 평가를 사용한다. 또한 명시적 구조와 학습된 동작을 결합한, 필요한 때에 적응 가능한 검증 가능한 모듈식 월드 모델을 가능하게 한다.
World models are essential for planning and evaluation in agentic systems, yet existing approaches lie at two extremes: hand-engineered simulators that offer consistency and reproducibility but are costly to adapt, and implicit neural models that are flexible but difficult to constrain, verify, and debug over long horizons. We seek a principled middle ground that combines the reliability of explicit simulators with the flexibility of learned models, allowing world models to be adapted during online execution. By targeting a broad class of environments whose dynamics are governed by the ordering, timing, and causality of discrete events, such as queueing and service operations, embodied task planning, and message-mediated multi-agent coordination, we advocate explicit, executable discrete-event world models synthesized directly from natural-language specifications. Our approach adopts the DEVS formalism and introduces a staged LLM-based generation pipeline that separates structural inference of component interactions from component-level event and timing logic. To evaluate generated models without a unique ground truth, simulators emit structured event traces that are validated against specification-derived temporal and semantic constraints, enabling reproducible verification and localized diagnostics. Together, these contributions produce world models that are consistent over long-horizon rollouts, verifiable from observable behavior, and efficient to synthesize on demand during online execution.
연구 동기 및 목표
- 에이전트 시스템의 월드 모델에 대해 수작업으로 설계된 시뮬레이터와 암묵적 신경 모델 사이의 중간 지점을 제시한다.
- DEVS 형식을 사용하여 자연어 명세로 합성된 접근 가능하고 실행 가능한 이산 이벤트 월드 모델을 제안한다.
- 구조적 추론과 구성요소 수준의 동작을 분리하는 두 단계의 LLM 주도 생성 파이프라인을 개발한다.
- 명세에서 파생된 시간적·의미적 제약에 대해 모델을 검증하기 위한 trace 기반 평가 프레임워크를 도입한다.
- 온라인 실행 중에 월드 모델의 필요에 따른 합성 및 적응을 가능하게 한다.
제안 방법
- 명시적 상태, 타이밍, 이벤트 의미를 갖는 상호 작용하는 원자 및 결합 구성요소로 세계 역학을 모델링하기 위해 DEVS 형식을 채택한다.
- 먼저 구조 합성(PlanTree)을 수행하고 그 다음에 원자 모델을 구현하고 결합된 모델을 구성하기 위한 Behavior 합성을 수행하는 계층적 LLM 기반 생성 파이프라인을 사용한다.
- 인터페이스 계약 및 JSON 스키마를 활용하여 구성요소를 분리하고 병렬적으로 확장 가능한 생성을 가능하게 한다.
- 상위 모델과 실제 하위 구성요소 인터페이스를 맞추기 위해 인터페이스 요약을 통한 적응형 연결을 구현한다.
- 관찰 가능한 동작의 명세 주도 평가를 가능하게 하는 구조화된 이벤트 트레이스(JSONL)를 방출하는 시뮬레이터를 생성한다.
- 자연언어 명세에서 도출된 시간적/의미적 제약에 대한 trace 기반 적합성으로 모델을 평가한다.
실험 결과
연구 질문
- RQ1자연어 환경 설명으로부터 실행 가능한 이산 이벤트 월드 모델을 어떻게 생성할 수 있는가?
- RQ2DEVS 기반 모듈식 합성이 생성된 시뮬레이터에 대해 신뢰할 수 있는 장기 행동성과 검증 가능성을 제공하는가?
- RQ3고유한 실제 구현이 존재하지 않을 때 이러한 시뮬레이터를 어떻게 평가할 수 있는가?
- RQ4trace 기반의 명세 주도 평가 프레임워크가 온라인 실행 중에 표적 진단과 견고한 적응을 가능하게 하는가?
주요 결과
- 이 접근법은 자연어로부터 합성된 실행 가능한 DEVS 기반 월드 모델을 도출한다.
- PlanTree를 통한 구조 합성은 확장 가능하고 계약 기반의 구성요소 생성을 가능하게 한다.
- Behavioral 합성은 구성요소별 타이밍 및 상태 전이 로직을 만들어 모듈성을 보존한다.
- trace 기반 평가가 명세에 대한 시간적 및 의미적 제약을 점검하여 위반의 위치를 국소화한다.
- 이 프레임워크는 필요 시 합성 및 적응형 결합을 지원하여 구현된 구성요소와의 일관성을 유지한다.
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.