[논문 리뷰] PPCR-IM: A System for Multi-layer DAG-based Public Policy Consequence Reasoning and Social Indicator Mapping

Zichen Song, Weijia Li|arXiv (Cornell University)|2026. 02. 25.

Bayesian Modeling and Causal Inference인용 수 0

한 줄 요약

PPCR-IM은 정책 결과의 다층 DAG를 구축하고, 이를 고정된 지표 어휘에 질적 방향과 함께 매핑하며, 정부 초점에 대한 커버리지와 발견을 평가하고, 1,027개 정책 에피소드에서 두 LLM 기준선을 능가합니다.

ABSTRACT

Public policy decisions are typically justified using a narrow set of headline indicators, leaving many downstream social impacts unstructured and difficult to compare across policies. We propose PPCR-IM, a system for multi-layer DAG-based consequence reasoning and social indicator mapping that addresses this gap. Given a policy description and its context, PPCR-IM uses an LLM-driven, layer-wise generator to construct a directed acyclic graph of intermediate consequences, allowing child nodes to have multiple parents to capture joint influences. A mapping module then aligns these nodes to a fixed indicator set and assigns one of three qualitative impact directions: increase, decrease, or ambiguous change. For each policy episode, the system outputs a structured record containing the DAG, indicator mappings, and three evaluation measures: an expected-indicator coverage score, a discovery rate for overlooked but relevant indicators, and a relative focus ratio comparing the systems coverage to that of the government. PPCR-IM is available both as an online demo and as a configurable XLSX-to-JSON batch pipeline.

연구 동기 및 목표

• 외부화 및 구조화된 질적 정책 결과 추론을 다층 DAG로 표현한다.
• DAG 노드를 고정된 사회 지표 세트와 질적 영향 방향으로 매핑한다.
• 지표 커버리지, 간과된 지표 발견, 시스템 대 정부 초점에 대한 평가 척도를 제공한다.
• 정책 분석가와 NLP 연구자를 위한 인터랙티브 데모 및 XLSX-to-JSON 배치 파이프라인을 제공한다.

제안 방법

• LLM에 의해 구동되는 층별 DAG 생성을 통해 다수의 부모 노드를 갖는 정책 결과 경로를 모델링한다.
• 결과를 고정 지표 어휘에 맞추기 위해 지표 매핑과 DAG 구성을 분리한다.
• 각 지표에 대해 모형에 묻고 영향 가능 지표를 판별하고 방향(증가, 감소, 모호)을 지원 노드와 함께 할당한다.
• 평가 지표를 계산한다: 기대 지표 커버리지, 간과된 지표 발견률, 에피소드 전반의 모델–정부 초점 비율.
• 온라인 데모와 재현성을 위한 오픈 소스 XLSX-to-JSON 배치 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 계층적 DAG 기반의 추론 접근법이 고정된 사회 지표 세트와의 정렬을 개선할 수 있는가?
• RQ2 중간 결과를 공유 지표 어휘에 매핑하는 것이 정부 초점을 넘어서는 더 넓은 또는 대안적 영향을 포착하는가?
• RQ3 제시된 평가 지표가 정부 초점과의 정렬 및 간과되었지만 관련 지표의 발견에 대한 여부를 반영하는가?

주요 결과

시스템	지표	평균	표준편차	최소	최대
GPT 5.1	기대 지표 커버리지 점수	0.851	0.052	0.68	0.94
GPT 5.1	간과된 지표 발견률	0.352	0.088	0.15	0.58
GPT 5.1	모델–정부 초점 비율	1.098	0.115	0.86	1.41
Doubao	기대 지표 커버리지 점수	0.803	0.061	0.62	0.91
Doubao	간과된 지표 발견률	0.291	0.079	0.12	0.51
Doubao	모델–정부 초점 비율	1.023	0.108	0.81	1.33
PPCR-IM	기대 지표 커버리지 점수	0.902	0.048	0.71	0.96
PPCR-IM	간과된 지표 발견률	0.603	0.092	0.18	0.67
PPCR-IM	모델–정부 초점 비율	1.356	0.124	0.89	1.52

• PPCR-IM은 평균 기대 지표 커버리지 점수 0.902(표준편차 0.048)를 달성한다.
• PPCR-IM은 간과된 지표 발견률 0.603(표준편차 0.092)를 달성한다.
• PPCR-IM은 모델–정부 초점 비율 1.356(표준편차 0.124)을 얻는다.
• PPCR-IM은 1,027개 정책 에피소드에서 세 지표 모두에서 두 LLM 기준선(GPT 5.1 및 Doubao)을 능가한다.
• DAG 표현은 추가 지표가 중간 메커니즘을 통해 어떻게 발생하는지 직접적인 정부 초점을 넘어 추적 가능하게 한다.