[論文レビュー] PPCR-IM: A System for Multi-layer DAG-based Public Policy Consequence Reasoning and Social Indicator Mapping

Zichen Song, Weijia Li|arXiv (Cornell University)|Feb 25, 2026

Bayesian Modeling and Causal Inference被引用数 0

ひとこと要約

PPCR-IMは政策結果の多層DAGを構築し、定性的な方向性を持つ固定指標語彙にマッピングし、政府の焦点に対するカバレッジと発見を評価。1,027件の政策エピソードで2つのLLMベースラインを上回る。

ABSTRACT

Public policy decisions are typically justified using a narrow set of headline indicators, leaving many downstream social impacts unstructured and difficult to compare across policies. We propose PPCR-IM, a system for multi-layer DAG-based consequence reasoning and social indicator mapping that addresses this gap. Given a policy description and its context, PPCR-IM uses an LLM-driven, layer-wise generator to construct a directed acyclic graph of intermediate consequences, allowing child nodes to have multiple parents to capture joint influences. A mapping module then aligns these nodes to a fixed indicator set and assigns one of three qualitative impact directions: increase, decrease, or ambiguous change. For each policy episode, the system outputs a structured record containing the DAG, indicator mappings, and three evaluation measures: an expected-indicator coverage score, a discovery rate for overlooked but relevant indicators, and a relative focus ratio comparing the systems coverage to that of the government. PPCR-IM is available both as an online demo and as a configurable XLSX-to-JSON batch pipeline.

研究の動機と目的

• 定性的な政策結果推論を多層DAGとして外部化・構造化。
• DAGノードを定性的影響方向を含む固定の社会指標セットへマッピング。
• 指標カバレッジ、見落とし指標の発見、システムと政府の焦点の比較を評価する指標を提供。
• 政策分析者とNLP研究者のためのインタラクティブデモとXLSX-to-JSONバッチパイプラインを提供。

提案手法

• LLMによって駆動される層別DAG生成により、複数親ノードを持つ政策結果経路をモデリング。
• 結果の固定指標語彙への整合を図るため、指標マッピングとDAG構築を分離。
• 各指標について、モデルに影響を及ぼしうる指標を推測的に特定し、方向（増加、減少、曖昧）を支持ノードとともに割り当てる。
• 期待指標カバレッジ、見落とし指標の発見率、エピソード全体でのモデル–政府焦点比を算出。
• オンラインデモと再現性のためのオープンソースのXLSX-to-JSONバッチパイプラインを提供。

実験結果

リサーチクエスチョン

• RQ1 層別のDAGベース推論アプローチは、政策結果を固定の社会指標セットに整合させる力を高めるか。
• RQ2 中間的な結果を共通の指標語彙へマッピングすることは、政府焦点を超えたより広範または代替の影響を捉えるか。
• RQ3 提案された評価指標は、政府焦点への整合性と見落としの指標の発見を反映しているか。

主な発見

System	Metric	Mean	Std. dev.	Min	Max
GPT 5.1	Expected-indicator coverage score	0.851	0.052	0.68	0.94
GPT 5.1	Overlooked-indicator discovery rate	0.352	0.088	0.15	0.58
GPT 5.1	Model–government focus ratio	1.098	0.115	0.86	1.41
Doubao	Expected-indicator coverage score	0.803	0.061	0.62	0.91
Doubao	Overlooked-indicator discovery rate	0.291	0.079	0.12	0.51
Doubao	Model–government focus ratio	1.023	0.108	0.81	1.33
PPCR-IM	Expected-indicator coverage score	0.902	0.048	0.71	0.96
PPCR-IM	Overlooked-indicator discovery rate	0.603	0.092	0.18	0.67
PPCR-IM	Model–government focus ratio	1.356	0.124	0.89	1.52

• PPCR-IMは平均期待指標カバレッジスコア0.902（標準偏差0.048）を達成。
• PPCR-IMは見落とし指標の発見率0.603（標準偏差0.092）を達成。
• PPCR-IMはモデル–政府焦点比1.356（標準偏差0.124）を達成。
• PPCR-IMは1,027の政策エピソードにおいて、3つの指標すべてで2つのLLMベースライン（GPT 5.1とDoubao）を上回る。
• DAG表現は、追加の指標が中間メカニズムを介してどのように生じるかを、直接的な政府焦点を超えて追跡可能にする。