[논문 리뷰] Leveraging Natural Language Processing and Machine Learning for Evidence-Based Food Security Policy Decision-Making in Data-Scarce Making

Karan Kumar Singh, Nikita Gajbhiye|arXiv (Cornell University)|2026. 03. 20.

Food Security and Health in Diverse Populations인용 수 0

한 줄 요약

ZeroHungerAI는 데이터 부족 상황에서 DistilBERT 기반 NLP와 구조화된 사회경제 지표를 통합해 식량 안보를 예측하고 정책 개입을 최적화한다, 공정성 제약 하에.

ABSTRACT

Food security policy formulation in data-scarce regions remains a critical challenge due to limited structured datasets, fragmented textual reports, and demographic bias in decision-making systems. This study proposes ZeroHungerAI, an integrated Natural Language Processing (NLP) and Machine Learning (ML) framework designed for evidence-based food security policy modeling under extreme data scarcity. The system combines structured socio-economic indicators with contextual policy text embeddings using a transfer learning based DistilBERT architecture. Experimental evaluation on a 1200-sample hybrid dataset across 25 districts demonstrates superior predictive performance, achieving 91 percent classification accuracy, 0.89 precision, 0.85 recall, and an F1 score of 0.86 under imbalanced conditions. Comparative analysis shows a 13 percent performance improvement over classical SVM and 17 percent over Logistic Regression models. Precision Recall evaluation confirms robust minority class detection (average precision around 0.88). Fairness aware optimization reduces demographic parity difference to 3 percent, ensuring equitable rural urban policy inference. The results validate that transformer based contextual learning significantly enhances policy intelligence in low resource governance environments, enabling scalable and bias aware hunger prediction systems.

연구 동기 및 목표

• 다국어 비구조적 문서에서 구조화된 정책 지표를 추출하기 위한 트랜스포머 기반 NLP 파이프라인 개발.
• 희소하고 노이즈가 있으며 부분적으로 라벨링된 데이터에 우선순위를 두는 저자원 ML 의사결정 지원 모델 설계.
• 지역과 인구 간 편향을 완화하기 위해 강건성 및 공정성 메커니즘을 도입.
• 자원 제약 하에서 개입 배정을 최적화하기 위한 의사결정 중심 학습 구현.
• 제한된 데이터 시뮬레이션에서 소거실험 및 베이스라인과 함께 성능 평가.

제안 방법

• 특징 융합을 통한 정규화된 구조적 특징과 DistilBERT 컨텍스추얼 임베딩을 결합한 하이브리드 아키텍처.
• 완전연결(fully connected) 분류기가 신뢰도 점수와 정책 우선순위 insights를 포함한 이진 식량 안보 상태를 출력한다.
• 공정성 보정을 위한 목표가 인구 통계적 동등성 제약을 예측 손실에 추가한다.
• 예산 한도하에 개입 대상 지역을 순위화하고 선택하기 위한 제약 최적화.
• 소거 연구와 베이스라인 모델과의 비교를 통해 엔드투엔드 파이프라인을 검증한다.

Figure 1: Proposed Methodological Layout

실험 결과

연구 질문

• RQ1 데이터 부족 환경에서 변압기 기반 NLP가 비구조적 다언어 문서로부터 정책 관련 지표를 어떻게 추출할 수 있는가?
• RQ2 희소하고 노이즈가 있으며 부분적으로 라벨링된 데이터를 이용해 저자원 ML 모델이 식량 안보 개입의 우선순위를 효과적으로 정할 수 있는가?
• RQ3 정책 권고에서 농촌-도시 인구 통계 편향을 줄이기 위해 어떤 공정성 메커니즘을 통합할 수 있는가?
• RQ4 구조화된 지표와 맥락 임베딩을 결합하면 예산 제약 하에서 의사결정 품질이 향상되는가?
• RQ5 데이터 증가에 따라 접근법이 확장되면서 정확성과 공정성을 유지하는가?

주요 결과

모델	정확도	F1	AUC	소수 집단 재현율	공정성 차이	데이터 효율성	설명가능성
Logistic Regression	79	0.75	0.82	Low	High	High	High
SVM	83	0.81	0.88	Medium	Medium	Medium	Medium
DistilBERT (Proposed)	94	0.91	0.95	High	Low	Medium	Low

• DistilBERT 기반 모델은 로지스틱 회귀(79%) 및 SVM(83%)보다 더 높은 정확도(94%)를 달성한다.
• 제안된 모델은 2000샘플 데이터셋에서 AUC 약 0.95, 정밀도 ~0.92, 재현율 ~0.90, F1 ~0.91에 도달한다.
• 공정성 분석에서 인구통계적 동등성 격차 3%를 보인다 (농촌 0.84 vs 도시 0.81).
• 트랜스포머 기반 학습은 불균형 하에서 소수 클래스 탐지에 강건함을 제공한다 (평균 정밀도 ~0.92).
• 고전적 모델과 비교하여 제안된 접근법은 공정성 제약을 유지하면서 성능이 크게 향상된다.

Figure 2: Backend Operation Layout