[論文レビュー] SustainBench: Benchmarks for Monitoring the Sustainable Development Goals with Machine Learning

Christopher Yeh, Chenlin Meng+8 more|arXiv (Cornell University)|Nov 8, 2021

Sustainability and Climate Change GovernanceEnvironmental Science被引用数 21

ひとこと要約

SustainBenchは、7つの持続可能な開発目標（SDGs）にまたがる15の機械学習タスクから構成される標準化されたベンチマークスイートを導入し、11のタスクで公開済みのデータセットを用いている。これにより、一貫した評価が可能となり、研究者の参入障壁が低下し、メタラーニングや自己教師付き学習のような新規手法の開発が促進され、衛星データおよびアンケートデータを用いたSDGの監視が向上する。

ABSTRACT

Progress toward the United Nations Sustainable Development Goals (SDGs) has been hindered by a lack of data on key environmental and socioeconomic indicators, which historically have come from ground surveys with sparse temporal and spatial coverage. Recent advances in machine learning have made it possible to utilize abundant, frequently-updated, and globally available data, such as from satellites or social media, to provide insights into progress toward SDGs. Despite promising early results, approaches to using such data for SDG measurement thus far have largely evaluated on different datasets or used inconsistent evaluation metrics, making it hard to understand whether performance is improving and where additional research would be most fruitful. Furthermore, processing satellite and ground survey data requires domain knowledge that many in the machine learning community lack. In this paper, we introduce SustainBench, a collection of 15 benchmark tasks across 7 SDGs, including tasks related to economic development, agriculture, health, education, water and sanitation, climate action, and life on land. Datasets for 11 of the 15 tasks are released publicly for the first time. Our goals for SustainBench are to (1) lower the barriers to entry for the machine learning community to contribute to measuring and achieving the SDGs; (2) provide standard benchmarks for evaluating machine learning models on tasks across a variety of SDGs; and (3) encourage the development of novel machine learning methods where improved model performance facilitates progress towards the SDGs.

研究の動機と目的

• 持続可能な開発目標（SDG）の監視における機械学習の分野で、標準化された評価手法とデータアクセスの欠如に対処する。
• 開発経済学および環境科学分野の高品質でドメイン特化型のデータセットを提供することで、機械学習研究者の参入障壁を低減する。
• 多様なSDG関連タスクにわたるモデル性能の比較と進捗の追跡を可能にする共通のベンチマークフレームワークを確立する。
• 実世界のSDG課題に特化した新規な機械学習手法（例：メタラーニングや自己教師付き学習）の開発を促進する。
• 地理空間データおよびアンケートベースのデータセットにおけるデータプライバシーとバイアスのリスクに対処することで、倫理的な展開を確保する。

提案手法

• 貧困予測、土地被覆分類、作物収量推定、水の衛生状態監視などを含む、7つのSDGsにまたがる15のベンチマークタスクを体系的に選定した。
• 15のうち11のデータセットを初回として公開し、標準化された訓練/検証/テスト分割と一貫した評価プロトコルを提供した。
• 最先端の技術を用いたベースラインモデルを提供した。特に、土地被覆分類におけるメタラーニングのためのMAMLを採用した。
• 衛星画像（Landsat、Sentinel-1/2、MODIS）、ソーシャルメディア、モバイルフォン記録、および現地調査データ（DHS、LSMS）など、多様なデータソースを活用した。
• 特に位置情報および画像データにおいて、個人の特定を防ぐために、データ拡張およびノイズ注入を実施した。
• クラス分布が著しく不均衡な地域における公平な性能評価を確保するため、Cohenのkappa統計量を評価指標として採用した。

実験結果

リサーチクエスチョン

• RQ1 多様で現実的かつデータモダリティやスパarsityが異なるSDG監視タスクにおいて、機械学習モデルを一貫して評価する方法は何か？
• RQ2 Sub-Saharan Africaのような低リソース地域において、メタラーニングが土地被覆分類のモデル一般化性能をどの程度向上できるか？
• RQ3 自己教師付き学習およびマルチタスク学習手法は、ラベル付きデータが限られるSDG関連タスクにおいて、性能を向上させられるか？
• RQ4 モデルの予測に偏りが生じる（例：貧困地域で所得を過剰に推定する）場合、開発分野における政策関連のML応用にどのような影響を与えるか？
• RQ5 SDG監視のための地理空間データおよびアンケートデータを公開する際のプライバシーリスクは何か？また、それらはどのように軽減できるか？

主な発見

• MAMLで学習させたモデルは、サハラ以南アフリカにおける土地被覆分類タスクで、テスト精度0.74、F1スコア0.72、Cohenのkappa0.32を達成し、低リソース環境におけるメタラーニングの可能性を示した。
• SustainBenchに含まれる15のうち11のデータセットが初回として公開され、SDG研究におけるデータへのアクセス性が顕著に向上した。
• 精度やF1スコアではなくkappa統計量を採用することで、クラス分布が著しく不均衡な地域においてもより頑健な評価指標が得られた。
• 貧困予測および作物収量推定タスクにおけるベースラインモデルは優れた性能を示しており、衛星データおよびモバイルデータを活用したMLがSDG指標の作成に有効に機能することを示唆している。
• 位置情報のジャイタリング、画像のぼかし処理、データ集約などのプライバシー保護技術が、アンケートデータおよび画像データにおける個人識別を効果的に保護するために成功した。
• 標準化された評価プロトコルを備えた多様で現実的なデータセットを提供することで、自己教師付き学習やマルチモーダル学習を含む先進的な手法研究を支援できるようになった。