[論文レビュー] PSIque: Next Sequence Prediction of Satellite Images using a Convolutional Sequence-to-Sequence Network

Seungkyun Hong, Seongchan Kim+2 more|arXiv (Cornell University)|Nov 29, 2017

Hydrocarbon exploration and reservoir analysis参考文献 11被引用数 14

ひとこと要約

この論文では、将来の衛星画像を歴史的シーケンスから予測し、未観測または欠落した気象現象の妥当な再構成を可能にする、対称的なスキップ接続を備えた畳み込み型シーケンス・ツー・シーケンスオートエンコーダーであるPSIqueを提案する。モデルは、層1/3/5にスキップ接続を設けた場合、MSEが197.222と最低となり、アンサンブルLSTMおよびConvLSTMベースラインを著しく上回った。

ABSTRACT

Predicting unseen weather phenomena is an important issue for disaster management. In this paper, we suggest a model for a convolutional sequence-to-sequence autoencoder for predicting undiscovered weather situations from previous satellite images. We also propose a symmetric skip connection between encoder and decoder modules to produce more comprehensive image predictions. To examine our model performance, we conducted experiments for each suggested model to predict future satellite images from historical satellite images. A specific combination of skip connection and sequence-to-sequence autoencoder was able to generate closest prediction from the ground truth image.

研究の動機と目的

• 衛星観測の障害により未観測または欠落した気象現象を予測する課題に対処すること。
• 歴史的時系列データから妥当な将来の衛星画像を生成できる深層学習モデルを開発すること。
• エンド・ツー・エンド学習を活用して、低データ量またはデータ損失状況における画像再構成品質を向上させること。
• スパティオトロピカル予測におけるスキップ接続およびシーケンス・ツー・シーケンスアーキテクチャの有効性を調査すること。
• 計算的に高コストな数値気象モデルに依存せずに、迅速なナウキャスティングシステムを実現すること。

提案手法

• 時間的要因を捉えるために、エンコーダーとデコーダーの両方に共通のコンponentsを備えた、シーケンス・ツー・シーケンス（Seq2Seq）オートエンコーダー・アーキテクチャを採用する。
• 時間的・空間的依存関係をシーケンシャルな衛星画像の間で捉えるために、エンコーダーおよびデコーダーの両方で3次元畳み込みLSTM（ConvLSTM）セルを用いる。
• エンコーダーの層L1、L3、L5から対応するデコーダー層への対称的スキップ接続を導入し、空間的および時間的コンテキストを保持する。
• リサidualスタイルのスキップ接続を適用して、デコンボリューションデコーディング段階における特徴の伝搬を促進し、再構成の正確性を向上させる。
• 6時間分の歴史的シーケンス（6枚の画像）を用いて次の画像を予測するようにモデルを訓練し、合計26,490件の訓練インスタンスを活用する。
• Adam最適化アルゴリズムを用い、初期学習率を1e-3、活性化関数にReLU/ELUを適用し、TensorFlowおよびCUDAを介したGPU加速を活用してモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ConvLSTMセルを備えたシーケンス・ツー・シーケンスオートエンコーダーは、歴史的シーケンスから将来の衛星画像を効果的に予測できるか？
• RQ2 エンコーダーとデコーダーの層間における対称的スキップ接続の導入が、予測精度および視覚的妥当性に与える影響は何か？
• RQ3 再構成誤差を最小化するための最適なスキップ接続の構成（例：特定の層）は何か？
• RQ4 提案モデルは、アンサンブルLSTMおよび基本的なConvLSTMベースラインと比較して、MSEおよび視覚的品質の面でどの程度優れているか？
• RQ5 衛星観測の障害によりデータが欠落した場合、モデルはどの程度妥当な気象パターンを再構成できるか？

主な発見

• ConvLSTMセルを備えたC2CL2Dモデルは、テストMSEが215.039に達し、アンサンブルLSTMベースのC2L2Dモデル（MSE 7537.908）を著しく上回った。
• 層1/3/5にスキップ接続を設けたモデルは、テストMSEが197.222と最低となり、最も正確で視覚的に妥当な予測を示した。
• C2L2Dモデルは学習能力が著しく低く、気象パターンを捉えられず、使用不能な予測を生成した。
• スキップ接続を備えたC2CL2Dモデルは、ベースラインモデルと比較して、より包括的かつ現実的な気象遷移を再現した。
• すべてのモデルが学習中に収束したが、C2CL2D-SkipConx（L1/3/5）設定は、定性的および定量的評価の両面で最も安定的かつ正確な性能を示した。
• 結果から、対称的スキップ接続が、リモートセンシング画像予測におけるシーケンス・ツー・シーケンスオートエンコーダーの特徴再構成を向上させ、一般化性能を向上させることを確認した。