[论文解读] Leveraging Natural Language Processing and Machine Learning for Evidence-Based Food Security Policy Decision-Making in Data-Scarce Making

Karan Kumar Singh, Nikita Gajbhiye|arXiv (Cornell University)|Mar 20, 2026

Food Security and Health in Diverse Populations被引用 0

一句话总结

ZeroHungerAI 将 DistilBERT 基于的 NLP 与结构化社会经济指标结合，用以在数据稀缺条件下预测粮食安全并优化政策干预，包含公平性约束。

ABSTRACT

Food security policy formulation in data-scarce regions remains a critical challenge due to limited structured datasets, fragmented textual reports, and demographic bias in decision-making systems. This study proposes ZeroHungerAI, an integrated Natural Language Processing (NLP) and Machine Learning (ML) framework designed for evidence-based food security policy modeling under extreme data scarcity. The system combines structured socio-economic indicators with contextual policy text embeddings using a transfer learning based DistilBERT architecture. Experimental evaluation on a 1200-sample hybrid dataset across 25 districts demonstrates superior predictive performance, achieving 91 percent classification accuracy, 0.89 precision, 0.85 recall, and an F1 score of 0.86 under imbalanced conditions. Comparative analysis shows a 13 percent performance improvement over classical SVM and 17 percent over Logistic Regression models. Precision Recall evaluation confirms robust minority class detection (average precision around 0.88). Fairness aware optimization reduces demographic parity difference to 3 percent, ensuring equitable rural urban policy inference. The results validate that transformer based contextual learning significantly enhances policy intelligence in low resource governance environments, enabling scalable and bias aware hunger prediction systems.

研究动机与目标

• 开发一个基于 Transformer 的 NLP 流程，从非结构化的多语言文档中提取结构化的政策指标。
• 设计一个低资源的 ML 决策支持模型，在数据稀疏、嘈杂且部分标注的情形下优先干预措施。
• 引入鲁棒性与公平性机制，以减小区域与人群之间的偏见。
• 实现面向决策的学习，在资源约束下优化干预分配。
• 在模拟数据稀缺情景下通过消融研究和基线模型进行性能评估。

提出的方法

• 将 DistilBERT 的上下文嵌入与通过特征融合规范化的结构化特征相结合的混合架构。
• 一个全连接分类器输出一个带有置信度分数的二元粮食安全状态及政策优先级洞见。
• 在预测损失中加入人口统计公平性约束的公平性调整目标函数。
• 在预算限制下对区域进行排序与选择的受约束优化。
• 端到端流程通过消融研究和与基线模型的比较进行验证。

Figure 1: Proposed Methodological Layout

实验结果

研究问题

• RQ1 在数据稀缺条件下，如何从非结构化的多语言文档中提取与政策相关的指标？
• RQ2 在 sparse、嘈杂且部分标注的数据条件下，低资源的 ML 模型能否有效地对粮食安全干预进行优先排序？
• RQ3 可以整合哪些公平性机制来减少政策建议中的城乡人口统计偏差？
• RQ4 在预算约束下，将上下文嵌入与结构化指标结合是否能提升决策质量？
• RQ5 在数据增加的情况下，该方法如何在保持准确性与公平性的前提下扩展？

主要发现

模型	准确率	F1	AUC	少数类召回	公平性差距	数据效率	可解释性
逻辑回归	79	0.75	0.82	低	高	高	高
SVM	83	0.81	0.88	中	中	中	中
DistilBERT（提出）	94	0.91	0.95	高	低	中	低

• 基于 DistilBERT 的模型在准确性方面高于逻辑回归（79%）和支持向量机（83%）。
• 提出的模型在一个包含 2000 个样本的数据集上，AUC 约为 0.95，精确度约 0.92，召回约 0.90，F1 约 0.91。
• 公平性分析显示人口统计平等差距为 3%（农村 0.84 对比 城市 0.81）。
• 基于 Transformer 的学习在不平衡数据下对少数类检测具有鲁棒性（平均精确度约 0.92）。
• 与经典模型相比，所提出的方法在保持公平性约束的同时实现了显著的性能提升。

Figure 2: Backend Operation Layout