[論文レビュー] Spatial Projection of Multiple Climate Variables using Hierarchical Multitask Learning

André Gonçalves, Arindam Banerjee+1 more|arXiv (Cornell University)|Jan 30, 2017

Climate variability and models被引用数 7

ひとこと要約

本稿では、空間的気候予測のための階層的マルチタスク学習（HMTL）フレームワークを提案する。このフレームワークは、気温や降水量などの複数の気候変数を同時にモデル化するため、各変数の空間的予測をマルチタスク学習問題として埋め込む。スーパータスク間でグループラッソ正則化を導入することで、精度行列における共有されたスパarsityパターンを捉え、気候変数間での情報共有を向上させ、特に夏の降水量のような困難な変数において、予測のRMSEを顕著に低減する。

ABSTRACT

Future projection of climate is typically obtained by combining outputs from multiple Earth System Models (ESMs) for several climate variables such as temperature and precipitation. While IPCC has traditionally used a simple model output average, recent work has illustrated potential advantages of using a multitask learning (MTL) framework for projections of individual climate variables. In this paper we introduce a framework for hierarchical multitask learning (HMTL) with two levels of tasks such that each super-task, i.e., task at the top level, is itself a multitask learning problem over sub-tasks. For climate projections, each super-task focuses on projections of specific climate variables spatially using an MTL formulation. For the proposed HMTL approach, a group lasso regularization is added to couple parameters across the super-tasks, which in the climate context helps exploit relationships among the behavior of different climate variables at a given spatial location. We show that some recent works on MTL based on learning task dependency structures can be viewed as special cases of HMTL. Experiments on synthetic and real climate data show that HMTL produces better results than decoupled MTL methods applied separately on the super-tasks and HMTL significantly outperforms baselines for climate projection.

研究の動機と目的

• 複数の気候変数間の関係を活用することで、空間的気候予測の精度を向上させる課題に対処すること。
• 各気候変数を個別に扱う分離型マルチタスク学習手法の限界を克服すること。
• 2段階の情報共有を可能にする階層的フレームワークを構築すること：各気候変数内での情報共有（サブタスク）と、変数間での情報共有（スーパータスク）。
• 構造的パrameter共有を通じて、サンプル数が少ない状況での予測精度を向上させ、標本の複雑さを低減すること。
• グループラッソ正則化を用いて、気候変数間のタスク依存構造（精度行列）を堅牢に推定すること。

提案手法

• 気候予測を2段階の階層的マルチタスク学習（HMTL）問題として定式化する：スーパータスク（各気候変数を表す）とサブタスク（その変数の空間的位置）。
• 各スーパータスク内でのマルチタスク学習を用いて、特定の気候変数の空間的に変化するESM重みを推定する。
• スーパータスク間で精度行列にグループラッソ正則化を導入し、タスク依存関係における共有スパarsityパターンを促進する。
• モデルパラメータ（Θ）と精度行列（Ω）を同時に最適化することで、関連する気候変数間での構造的情報共有を実現する。
• 正則化パラメータ（λ₀, λ₁, λ₂）のチューニングのために交差検証を適用する。
• 南米の合成データおよび実世界の気候データを用いて、気温および降水量の予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 階層的マルチタスク学習フレームワークは、複数の気候変数間の相関関係をモデル化することで、気候予測の精度を向上させることができるか？
• RQ2 HMTLは、各気候変数に別々に適用される分離型マルチタスク学習手法と比較して、どのように性能を発揮するか？
• RQ3 スーパータスク間でグループラッソ正則化を適用することで、タスク関係の共有スパarsityを活用し、予測性能をどの程度向上させられるか？
• RQ4 HMTLは、OLS、MMA、S²M²R、MSSLといったベースライン手法と比較して、異なる気候変数および時間帯においてRMSEをどのように改善するか？
• RQ5 訓練データが限られている状況、特に夏の降水量のような困難な変数において、階層的構造が性能に与える影響は何か？

主な発見

• HMTLは、気温および降水量の両方の予測において、すべてのベースライン、特に分離型MSSLと比較して顕著にRMSEを低減した。
• 最も挑戦的とされる夏の降水量においても、HMTLはRMSEを顕著に低減し、高分散・データが少ない状況下での有効性を示した。
• HMTLは、気候変数ごに独立してMSSLを適用するのと比較して、特に南米北部（コロンビア、ベネズエラ）の降水量および中央北米（アマゾン地域）の気温において、より正確な予測を実現した。
• グループラッソ正則化は、精度行列間の共有スパarsityパターンを効果的に捉え、タスク依存関係の推定をより正確にし、一般化性能を向上させた。
• 合成データを用いた実験では、内部のMTL問題の数が増えるほどHMTLの性能が向上することを確認し、スケーラビリティおよびロバストネスを裏付けた。
• MMAベースライン（等しいESM重み付け）は一貫して最も高いRMSEを示し、単純な平均化ではモデル間の関係を効果的に活用できないことが示された。