[논문 리뷰] Spatial Projection of Multiple Climate Variables using Hierarchical Multitask Learning

André Gonçalves, Arindam Banerjee외 1명|arXiv (Cornell University)|2017. 01. 30.

Climate variability and models인용 수 7

한 줄 요약

이 논문은 다중 기후 변수(예: 기온과 강수량)를 동시에 모델링하는 계층적 다중작업 학습(HMTL) 프레임워크를 제안한다. 각 변수의 공간 예측을 다중작업 학습 문제로 통합하여, 초과업무 간 그룹 라소 정규화를 도입함으로써 정밀도 행렬의 공통된 희박성 패턴을 포착하고, 기후 변수 간의 정보 공유를 향상시켜 특히 여름 강수량과 같이 도전적인 변수의 예측에서 RMSE를 크게 감소시킨다.

ABSTRACT

Future projection of climate is typically obtained by combining outputs from multiple Earth System Models (ESMs) for several climate variables such as temperature and precipitation. While IPCC has traditionally used a simple model output average, recent work has illustrated potential advantages of using a multitask learning (MTL) framework for projections of individual climate variables. In this paper we introduce a framework for hierarchical multitask learning (HMTL) with two levels of tasks such that each super-task, i.e., task at the top level, is itself a multitask learning problem over sub-tasks. For climate projections, each super-task focuses on projections of specific climate variables spatially using an MTL formulation. For the proposed HMTL approach, a group lasso regularization is added to couple parameters across the super-tasks, which in the climate context helps exploit relationships among the behavior of different climate variables at a given spatial location. We show that some recent works on MTL based on learning task dependency structures can be viewed as special cases of HMTL. Experiments on synthetic and real climate data show that HMTL produces better results than decoupled MTL methods applied separately on the super-tasks and HMTL significantly outperforms baselines for climate projection.

연구 동기 및 목표

• 다양한 기후 변수 간의 관계를 활용하여 공간 기후 예측의 정확도를 향상시키는 데 도전 과제를 해결한다.
• 각 기후 변수를 별도로 다루는 분리된 다중작업 학습 방법의 한계를 극복한다.
• 각 기후 변수 내부(하위 작업)와 변수 간(초과업무)의 이중 수준 정보 공유를 가능하게 하는 계층적 프레임워크를 개발한다.
• 구조화된 매개변수 공유를 통해 표본 복잡도를 감소시켜 데이터가 부족한 상황에서도 예측 정확도를 향상시킨다.
• 그룹 라소 정규화를 사용하여 기후 변수 간의 작업 의존성 구조(정밀도 행렬)를 안정적으로 추정한다.

제안 방법

• 기후 예측 문제를 두 수준으로 구성된 계층적 다중작업 학습(HMTL) 문제로 공식화한다: 초과업무(각 기후 변수를 나타냄)와 하위작업(해당 변수의 공간 위치).
• 각 초과업무 내에서 다중작업 학습 공식을 사용하여 주어진 기후 변수에 대한 공간적으로 변화하는 ESM 가중치를 추정한다.
• 초과업무 간 정밀도 행렬에 그룹 라소 정규화를 도입하여 작업 의존성의 공통된 희박성 패턴을 유도한다.
• 모델 매개변수(Θ)와 정밀도 행렬(Ω)을 동시에 최적화하여 관련 기후 변수 간의 구조화된 정보 공유를 가능하게 한다.
• 교차검증을 통해 HMTL 및 기준 모델의 정규화 매개변수(λ₀, λ₁, λ₂)를 조정한다.
• 남미에서의 합성 및 실세계 기후 데이터를 사용하여 기온 및 강수량 예측의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 계층적 다중작업 학습 프레임워크는 다수의 기후 변수 간 상호의존성을 모델링함으로써 기후 예측 정확도를 향상시킬 수 있는가?
• RQ2 각 기후 변수에 별도로 적용된 분리된 다중작업 학습 방법과 비교할 때 HMTL의 성능은 어떠한가?
• RQ3 초과업무 간 그룹 라소 정규화가 작업 관계의 공통된 희박성 패턴을 활용함으로써 예측 성능을 얼마나 향상시키는가?
• RQ4 HMTL은 OLS, MMA, S²M²R, MSSL과 같은 기준 모델보다 기후 변수 및 시간대에 관계없이 RMSE 측면에서 우수한 성능을 보일 수 있는가?
• RQ5 특히 여름 강수량과 같이 도전적인 변수에 대해 훈련 데이터가 제한된 상황에서 계층적 구조는 성능에 어떤 영향을 미치는가?

주요 결과

• HMTL은 기후 변수 간 상호의존성을 효과적으로 활용함으로써 기온 및 강수량 예측에서 모든 기준 모델, 특히 분리된 MSSL보다 RMSE를 크게 감소시켰다.
• 가장 도전적인 시나리오로 간주되는 여름 강수량에 대해서도 HMTL는 RMSE를 뚜렷이 감소시켜 변동성이 크고 데이터가 부족한 조건에서의 효과성을 입증했다.
• 특히 기후 변수를 별도로 적용한 MSSL보다 HMTL가 남미 북부(콜롬비아, 베네수엘라)의 강수량 및 중앙 북미(아마존 지역)의 기온 예측에서 더 정확한 결과를 도출했다.
• 그룹 라소 정규화는 정밀도 행렬 간의 공통된 희박성 패턴을 효과적으로 포착하여 작업 의존성의 정확한 추정과 더 나은 일반화 성능을 이끌어냈다.
• 합성 데이터 실험을 통해 HMTL의 성능이 내부 다중작업 학습 문제의 수가 증가함에 따라 향상됨을 확인하여, 스케일링 가능성과 견고성을 검증했다.
• MMA 기준 모델(동일한 ESM 가중치 할당)은 항상 가장 높은 RMSE를 기록하여 단순 평균화 방법이 모델 간 관계를 효과적으로 활용하지 못함을 시사했다.