[論文レビュー] Stacked transfer learning for tropical cyclone intensity prediction

Ratneel Deo, Rohitash Chandra+1 more|arXiv (Cornell University)|Aug 22, 2017

Tropical and Extratropical Cyclones Research参考文献 17被引用数 9

ひとこと要約

本稿では、南インド洋のデータをソースとして活用することで、南太平洋における熱帯低気圧の強度予測を改善するため、フィードフォワードニューラルネットワークを用いたスタックド転移学習を提案する。結果から、特に12日以上にわたる熱帯低気圧の持続期間がモデルの汎化性能に重要であることが示され、一方でインド洋のデータはわずかな改善にとどまり、類似した熱帯低気圧の特徴があるにもかかわらず転移可能性が限定的であることが示唆される。

ABSTRACT

Tropical cyclone wind-intensity prediction is a challenging task considering drastic changes climate patterns over the last few decades. In order to develop robust prediction models, one needs to consider different characteristics of cyclones in terms of spatial and temporal characteristics. Transfer learning incorporates knowledge from a related source dataset to compliment a target datasets especially in cases where there is lack or data. Stacking is a form of ensemble learning focused for improving generalization that has been recently used for transfer learning problems which is referred to as transfer stacking. In this paper, we employ transfer stacking as a means of studying the effects of cyclones whereby we evaluate if cyclones in different geographic locations can be helpful for improving generalization performs. Moreover, we use conventional neural networks for evaluating the effects of duration on cyclones in prediction performance. Therefore, we develop an effective strategy that evaluates the relationships between different types of cyclones through transfer learning and conventional learning methods via neural networks.

研究の動機と目的

• 関連地理的領域からの転移学習を用いて、南太平洋における熱帯低気圧の強度予測を改善すること。
• 南インド洋の熱帯低気圧が、南太平洋のターゲットデータセットに対するソースデータとして機能することで、汎化性能が向上するかを評価すること。
• ニューラルネットワークにおける汎化性能に及ぼす熱帯低気圧の持続期間（寿命）の影響を調査すること。
• 予測精度とロバスト性の観点から、従来のニューラルネットワークと転移スタッキングアンサンブルの性能を比較すること。

提案手法

• 状態空間再構成のためのターケンズの定理を用い、フィードフォワードニューラルネットワーク（FNN）とバックプロパゲーションを用いて、時間系列予測としての熱帯低気圧の風速強度を予測した。
• 入力に適したフォーマットに変換するため、埋め込み次元（D）と時間遅れ（T）を用いた。
• 転移スタッキングを実装し、ソースデータ（南インド洋）でベースラーナーを学習させ、その予測結果をメタラーナー（スタックドアンサンブル）がターゲットデータ（南太平洋）で統合した。
• テストセット（2006年～2013年までの熱帯低気圧）を用いて、RMSEおよびR²指標による汎化性能を評価した。
• 4つの実験を比較した：(1) 同一地域での学習・テスト、(2) 跨地域での学習・テスト、(3) 持続期間別サブセット分析、(4) インド洋をソースとした転移スタッキング。
• スタッキングのコンビナータ層としてロジスティック回帰を採用し、標準的なスタックド一般化の実践に準拠した。

実験結果

リサーチクエスチョン

• RQ1 南インド洋の熱帯低気圧が、転移学習を用いて南太平洋における強度予測を改善する有効なソースデータとして機能できるか？
• RQ2 熱帯低気圧の持続期間が、ニューラルネットワークモデルの強度予測における汎化性能にどのように影響するか？
• RQ3 予測精度とロバスト性の観点から、転移スタッキングは従来のニューラルネットワークを上回るか？
• RQ4 インド洋の熱帯低気圧データを南太平洋のターゲットドメインに適用した際に、負の転移（negative transfer）の兆候が見られるか？

主な発見

• 12日以上にわたる持続期間を有する熱帯低気圧が、最も優れた汎化性能を示し、長期間にわたる嵐が熱帯低気圧のライフサイクルに関する包括的な情報を提供していることが示された。
• 南インド洋データセットは南太平洋データセットの3倍のサイズであるが、転移スタッキングにおけるソースとして用いた場合、汎化性能の向上は顕著ではなかった。
• 負の転移は観察されず、性能は安定的かやや向上していたことから、インド洋の熱帯低気圧データは南太平洋の予測に適合可能で適応可能であることが示された。
• 南太平洋データのみで学習した従来のニューラルネットワークは、転移スタッキングと同等の性能を達成しており、南太平洋データのみで強固なモデリングが可能であることが示唆された。
• 単一地域データで学習したモデルと連結データで学習したモデルとの間の性能差は最小限にとどまり、訓練データにおける地域的多様性が予測精度を顕著に向上させないことが示された。
• 転移スタッキングは、標準的なFNNに比べて測定可能な利点をもたらさなかったことから、海盆間の知識転送が、現時点の学習データから得られる情報以上に有益ではなかったことが示唆された。