[論文レビュー] Leveraging Natural Language Processing and Machine Learning for Evidence-Based Food Security Policy Decision-Making in Data-Scarce Making

Karan Kumar Singh, Nikita Gajbhiye|arXiv (Cornell University)|Mar 20, 2026

Food Security and Health in Diverse Populations被引用数 0

ひとこと要約

ZeroHungerAIはDistilBERTベースのNLPと構造化された社会経済指標を統合して食料安全保障を予測し、データ不足の下で政策介入を最適化する。公正性の制約を備える。

ABSTRACT

Food security policy formulation in data-scarce regions remains a critical challenge due to limited structured datasets, fragmented textual reports, and demographic bias in decision-making systems. This study proposes ZeroHungerAI, an integrated Natural Language Processing (NLP) and Machine Learning (ML) framework designed for evidence-based food security policy modeling under extreme data scarcity. The system combines structured socio-economic indicators with contextual policy text embeddings using a transfer learning based DistilBERT architecture. Experimental evaluation on a 1200-sample hybrid dataset across 25 districts demonstrates superior predictive performance, achieving 91 percent classification accuracy, 0.89 precision, 0.85 recall, and an F1 score of 0.86 under imbalanced conditions. Comparative analysis shows a 13 percent performance improvement over classical SVM and 17 percent over Logistic Regression models. Precision Recall evaluation confirms robust minority class detection (average precision around 0.88). Fairness aware optimization reduces demographic parity difference to 3 percent, ensuring equitable rural urban policy inference. The results validate that transformer based contextual learning significantly enhances policy intelligence in low resource governance environments, enabling scalable and bias aware hunger prediction systems.

研究の動機と目的

• 未構造化の多言語文書から構造化された政策指標を抽出するトランスフォーマーベースのNLPパイプラインを開発する。
• sparseでノイズの多い、部分的にラベル付けされたデータを優先する低リソースML意思決定支援モデルを設計する。
• 地域と人口に跨るバイアスを緩和するロバスト性と公平性のメカニズムを組み込む。
• リソース制約下で介入配分を最適化する意思決定重視学習を実装する。
• アブレーションとベースラインモデルとの比較によるデータ不足を模した状況での性能評価を行う。

提案手法

• DistilBERTの文脈埋め込みと正規化された構造化特徴量を特徴量融合で組み合わせたハイブリッドアーキテクチャ。
• 完全連結分類器が信頼度スコアと政策優先度の洞察を含む二値の食料安全保障ステータスを出力。
• 公平性を調整した目的関数が予測損失に人口統計的パリティ制約を追加。
• 予算制約の下で介入地域をランキング・選択する制約付き最適化。
• アブレーション研究とベースラインモデルとの比較によってエンドツーエンドのパイプラインを検証。

Figure 1: Proposed Methodological Layout

実験結果

リサーチクエスチョン

• RQ1 データ不足の設定で、データの少ない多言語文書から政策関連指標を抽出するには、トランスフォーマーベースのNLPはどのように機能するか。
• RQ2 sparseでノイズの多い、部分的にラベル付けされたデータを用いて、低リソースMLモデルは食料安全介入を効果的に優先付けできるか。
• RQ3 政策推奨の rural–urban デモグラフィックバイアスを低減するフェアネス機構は何かを統合できるか。
• RQ4 構造化指標と文脈埋め込みを組み合わせることで、予算制約下の意思決定品質は改善されるか。
• RQ5 データ量の増加に伴い、精度と公平性を維持しつつアプローチはどのようにスケールするか。

主な発見

モデル	Accuracy	F1	AUC	Minority Recall	Fairness Gap	Data Efficiency	Interpretability
ロジスティック回帰	79	0.75	0.82	Low	High	High	High
SVM	83	0.81	0.88	Medium	Medium	Medium	Medium
DistilBERT（提案）	94	0.91	0.95	High	Low	Medium	Low

• DistilBERTベースのモデルはロジスティック回帰 (79%) やSVM (83%) より高い精度を達成。
• 提案モデルは2000サンプルデータセットでAUC約0.95、精度約0.92、再現率約0.90、F1約0.91。
• 公平性分析により人口統計的パリティのギャップは3%（地方0.84対都市0.81）を示す。
• トランスフォーマー基盤の学習は不均衡下での少数クラス検出を堅牢に提供（平均精度約0.92）。
• 古典モデルと比較して、提案アプローチは公平性制約を維持しつつ顕著な性能向上を示す。

Figure 2: Backend Operation Layout