[논문 리뷰] Uncertainty quantification for probabilistic machine learning in earth observation using conformal prediction

Geethen Singh, Glenn R. Moncrieff외 4명|arXiv (Cornell University)|2024. 01. 12.

Atmospheric and Environmental Gas DynamicsEnvironmental Science인용 수 3

한 줄 요약

이 논문은 지구 관측(EO)에서 확률적 기계학습을 위한 모델에 종속되지 않는 불확실성 정량화 프레임워크를 제안한다. 이는 교육 데이터에 접근할 필요 없이 통계적으로 타당하고 계산적으로 효율적인 예측 영역을 제공하는 콫포멀 예측 기반 기법이다. 이는 지역에서 글로벌 스케일의 데이터셋까지 Google Earth Engine 워크플로우에 원활하게 통합되며, 토지 이용 지ap 등 결정 기반이 되는 EO 응용 분야에서 신뢰성을 향상시킨다.

ABSTRACT

Unreliable predictions can occur when using artificial intelligence (AI) systems with negative consequences for downstream applications, particularly when employed for decision-making. Conformal prediction provides a model-agnostic framework for uncertainty quantification that can be applied to any dataset, irrespective of its distribution, post hoc. In contrast to other pixel-level uncertainty quantification methods, conformal prediction operates without requiring access to the underlying model and training dataset, concurrently offering statistically valid and informative prediction regions, all while maintaining computational efficiency. In response to the increased need to report uncertainty alongside point predictions, we bring attention to the promise of conformal prediction within the domain of Earth Observation (EO) applications. To accomplish this, we assess the current state of uncertainty quantification in the EO domain and found that only 20% of the reviewed Google Earth Engine (GEE) datasets incorporated a degree of uncertainty information, with unreliable methods prevalent. Next, we introduce modules that seamlessly integrate into existing GEE predictive modelling workflows and demonstrate the application of these tools for datasets spanning local to global scales, including the Dynamic World and Global Ecosystem Dynamics Investigation (GEDI) datasets. These case studies encompass regression and classification tasks, featuring both traditional and deep learning-based workflows. Subsequently, we discuss the opportunities arising from the use of conformal prediction in EO. We anticipate that the increased availability of easy-to-use implementations of conformal predictors, such as those provided here, will drive wider adoption of rigorous uncertainty quantification in EO, thereby enhancing the reliability of uses such as operational monitoring and decision making.

연구 동기 및 목표

• 지구 관측(EO) 기계학습 응용 분야에서 신뢰할 수 있는 불확실성 보고의 부족을 해결하기 위해.
• 다양한 EO 데이터셋과 모델에 호환 가능한 모델에 종속되지 않는 불확실성 정량화 방법을 제안하기 위해.
• 교육 데이터나 모델 아키텍처에 접근할 필요 없이 통계적으로 타당하고 계산적으로 효율적인 예측 영역을 제공하기 위해.
• 등록 회귀 및 분류 작업을 위한 기존 Google Earth Engine 워크플로우에 콕포멀 예측을 실용적으로 통합하기 위해.
• 운영용 지구 관측 모니터링 및 의사결정 시스템에서 철저한 불확실성 보고의 광범위한 도입을 촉진하기 위해.

제안 방법

• 논문은 기저 모델과 교육 데이터에 종속되지 않는 후행적 불확실성 정량화 프레임워크로 콕포멀 예측을 적용한다.
• 교정 세트에서 계산된 비일관성 점수(nonconformity scores)를 사용하여 보장된 커버리지 확률을 갖는 예측 영역을 정의한다.
• 이 방법은 회귀 및 분류 작업 모두에 적응되며, 각각에 대해 별도의 교정 절차를 수립한다.
• Google Earth Engine와 호환되는 모듈식 도구로 프레임워크를 구현하여 기존 기계학습 파이프라인에 통합할 수 있도록 한다.
• 기존 모델과 딥러닝 모델 모두를 지원하며, 지역적 및 글로벌 스케일의 EO 데이터셋에서 계산 효율성을 유지한다.
• 독립 동일분포(i.i.d.) 가정 하에 경계 및 조건부 커버리지 보장을 보장하여 통계적으로 타당한 불확실성 추정을 제공한다.

실험 결과

연구 질문

• RQ1 콕포멀 예측은 교육 데이터나 모델 구조에 접근할 수 없더라도 지구 관측 모델에 대해 통계적으로 타당한 불확실성 정량화를 제공할 수 있는가?
• RQ2 콕포멀 예측은 동적 세계(Dynamic World) 및 GEDI와 같은 다양한 EO 데이터셋에서 커버리지 및 효율성 측면에서 얼마나 잘 작동하는가?
• RQ3 콕포멀 예측은 기존 Google Earth Engine 기반의 ML 워크플로우에 운영용으로 얼마나 잘 통합될 수 있는가?
• RQ4 콕포멀 예측은 기존의 불확실성 정량화 방법과 비교할 때 신뢰성 및 계산 비용 측면에서 어떻게 다른가?
• RQ5 콕포멀 예측을 도입할 경우 지구 관측 응용 분야의 의사결정에 실질적인 영향을 미치는가?

주요 결과

• 검토된 Google Earth Engine 데이터셋 중 단 20%만이 어떤 형태의 불확실성 정보를 포함하고 있어 현재의 EO 관행에서 심각한 격차가 있음을 시사한다.
• 제안된 콕포멀 예측 프레임워크는 회귀 및 분류 작업 모두에서 이론적 보장을 충족하는 유효한 커버리지 비율을 달성했다.
• 이 방법은 동적 세계 및 GEDI와 같은 글로벌 스케일의 EO 데이터셋에서도 확장 가능한 배포를 가능하게 하며 계산 효율성을 유지했다.
• Google Earth Engine 워크플로우에 콕포멀 예측 모듈을 통합하는 데 있어 원활한 통합이 이루어졌으며, 기존 모델과 딥러닝 모델 모두를 지원했다.
• 이 연구는 기존에 널리 사용되지만 신뢰할 수 없는 불확실성 추정 기법들보다 이 방법이 뛰어난 성능을 보임을 입증했다.
• 본 연구는 콕포멀 예측이 운영용 지구 관측 응용 분야에서 기계학습 예측의 신뢰성을 크게 향상시킬 수 있음을 보여준다.