[논문 리뷰] SustainBench: Benchmarks for Monitoring the Sustainable Development Goals with Machine Learning

Christopher Yeh, Chenlin Meng외 8명|arXiv (Cornell University)|2021. 11. 08.

Sustainability and Climate Change GovernanceEnvironmental Science인용 수 21

한 줄 요약

SustainBench는 7개의 지속 가능한 발전 목표(SDGs)에 걸쳐 15개의 기계학습 과제를 포함하는 표준화된 벤치마크 세트를 도입한다. 이는 11개 과제에 대해 공개된 데이터셋을 사용하며, 연구자들이 일관된 평가를 수행하고, 진입 장벽을 낮추며, 메타학습 및 자기지도학습과 같은 새로운 방법론을 통해 위성 및 설문 조사 데이터를 활용한 SDG 모니터링을 향상시키는 데 기여한다.

ABSTRACT

Progress toward the United Nations Sustainable Development Goals (SDGs) has been hindered by a lack of data on key environmental and socioeconomic indicators, which historically have come from ground surveys with sparse temporal and spatial coverage. Recent advances in machine learning have made it possible to utilize abundant, frequently-updated, and globally available data, such as from satellites or social media, to provide insights into progress toward SDGs. Despite promising early results, approaches to using such data for SDG measurement thus far have largely evaluated on different datasets or used inconsistent evaluation metrics, making it hard to understand whether performance is improving and where additional research would be most fruitful. Furthermore, processing satellite and ground survey data requires domain knowledge that many in the machine learning community lack. In this paper, we introduce SustainBench, a collection of 15 benchmark tasks across 7 SDGs, including tasks related to economic development, agriculture, health, education, water and sanitation, climate action, and life on land. Datasets for 11 of the 15 tasks are released publicly for the first time. Our goals for SustainBench are to (1) lower the barriers to entry for the machine learning community to contribute to measuring and achieving the SDGs; (2) provide standard benchmarks for evaluating machine learning models on tasks across a variety of SDGs; and (3) encourage the development of novel machine learning methods where improved model performance facilitates progress towards the SDGs.

연구 동기 및 목표

• 기계학습을 통한 지속 가능한 발전 목표(SDG) 모니터링 분야에서 표준화된 평가 및 데이터 접근의 부족을 해결한다.
• 개발 경제학 및 환경 과학 분야의 고품질, 영역 특화 데이터셋을 제공함으로써 기계학습 연구자들이 진입하기 위한 장벽을 낮춘다.
• 다양한 SDG 연관 과제 간의 성과 비교 및 진전 추적을 위한 공통의 벤치마크 프레임워크를 구축한다.
• 실제 세계의 SDG 과제에 맞는 특화된 기계학습 기법—예를 들어 메타학습 및 자기지도학습—의 개발을 장려한다.
• 지오스페이셜 및 설문 기반 데이터셋에서의 데이터 프라이버시 및 편향 리스크를 고려하여 윤리적인 배포를 확보한다.

제안 방법

• 빈도가 높은 과제인 빈곤 예측, 토양 이용 분류, 작물 수확량 추정, 물과 위생 모니터링 등 7개 SDG에 걸쳐 15개의 벤치마크 과제를 선별했다.
• 15개 과제 중 11개 데이터셋을 처음으로 공개하였으며, 표준화된 훈련/검증/테스트 분할 및 일관된 평가 프로토콜을 제공한다.
• 최신 기술을 활용한 기준 모델을 제공하였으며, 토양 이용 분류 과제에서 메타학습을 위한 MAML 기반 모델을 적용하였다.
• 다양한 데이터 원천을 활용: 위성 영상(Landsat, Sentinel-1/2, MODIS), 소셜 미디어, 휴대폰 기록, 현장 조사 데이터(DHS, LSMS).
• 개인 정보 보호를 위해 데이터 증강 및 노이즈 주입 기법을 적용하였으며, 특히 지리적 위치 및 영상 데이터에서 효과를 발휘하였다.
• 불균형한 지역에서의 공정한 성능 평가를 확보하기 위해, 클래스 분포가 극도로 불균형한 상황에서 코헨의 카파 통계량을 평가 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 다양한 데이터 모odal리티와 희소성으로 인해 실생활의 다양한 SDG 모니터링 과제에서 기계학습 모델을 어떻게 일관되게 평가할 수 있는가?
• RQ2 메타학습은 빈도가 낮은 지역, 예를 들어 사하라 이남 아프리카 지역의 토양 이용 분류 과제에서 모델의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ3 제한된 레이블이 있는 SDG 연관 과제에서 자기지도학습 및 다중 작업 학습 기법이 성능 향상에 기여할 수 있는가?
• RQ4 빈곤 지역에서 부유함을 과도하게 예측하는 등의 모델 예측 편향은 개발 분야에서 기계학습의 정책 관련 응용에 어떤 영향을 미치는가?
• RQ5 SDG 모니터링을 위한 지오스페이셜 및 설문 조사 데이터를 공개할 경우 발생할 수 있는 프라이버시 리스크는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• MAML로 훈련된 모델은 사하라 이남 아프리카 전역에서 토양 이용 분류 과제에서 테스트 정확도 0.74, F1 점수 0.72, 코헨의 카파 0.32를 기록하여, 저자원 환경에서 메타학습의 잠재력을 입증하였다.
• SustainBench의 15개 데이터셋 중 11개가 처음으로 공개되어, SDG 연구 분야의 데이터 접근성을 크게 향상시켰다.
• 정확도나 F1 점수 대신 카파 통계량을 사용함으로써, 클래스 분포가 극도로 불균형한 지역에서 더 견고한 평가 지표를 확보할 수 있었다.
• 빈곤 예측 및 작물 수확량 추정 과제의 기준 모델은 뛰어난 성능을 보였으며, 이는 기계학습이 위성 및 휴대폰 데이터를 효과적으로 활용해 SDG 지표를 추정할 수 있음을 시사한다.
• 지리적 위치 왜곡, 이미지 흐림 처리, 데이터 집계 등의 개인정보 보호 기법이 설문 및 영상 데이터의 개인 신원 보호에 성공적으로 적용되었다.
• 표준화된 평가 프로토콜과 다양한 실생활 데이터셋을 제공함으로써, 자기지도학습 및 다중 모odal 학습과 같은 고급 방법론 연구를 지원한다.