[論文レビュー] Image Augmentation for Satellite Images

Oluwadara Adedeji, Peter Owoade+2 more|arXiv (Cornell University)|Jul 29, 2022

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本研究では、Land Use and Land Cover (LULC) 分類におけるデータ拡張のため、GAN（特にDCGANとWGAN-GP）を用いて合成された衛星画像の生成を提案する。GANで生成された画像は、モデルの汎化性能を低下させることなく向上させることを確認した。幾何的拡張と組み合わせることで、単独で用いる場合よりも優れた結果が得られた。

ABSTRACT

This study proposes the use of generative models (GANs) for augmenting the EuroSAT dataset for the Land Use and Land Cover (LULC) Classification task. We used DCGAN and WGAN-GP to generate images for each class in the dataset. We then explored the effect of augmenting the original dataset by about 10% in each case on model performance. The choice of GAN architecture seems to have no apparent effect on the model performance. However, a combination of geometric augmentation and GAN-generated images improved baseline results. Our study shows that GANs augmentation can improve the generalizability of deep classification models on satellite images.

研究の動機と目的

• 欧州衛星データセット（EuroSAT）を対象とした、衛星画像分類における限られた学習データの課題に対処すること。
• 生成モデル（例：GAN）が、モデルの頑健性を向上させるために現実的な合成衛星画像を生成できるかどうかを調査すること。
• 従来の幾何的拡張法と比較して、GANで生成された画像がモデル性能に与える影響を評価すること。
• 異なるGANアーキテクチャ（DCGAN対WGAN-GP）が分類精度に顕著な差をもたらすかどうかを特定すること。
• GANによる拡張と幾何的拡張を組み合わせることで、低データ環境におけるモデルの汎化性能が向上する可能性を検討すること。

提案手法

• DCGANおよびWGAN-GPを、10の土地利用クラスそれぞれに対して欧州衛星データセット（EuroSAT）で学習させ、合成衛星画像を生成した。
• 各クラスの元の学習データセットに、10%のデータ拡張率を適用して、GANで生成された画像を追加した。
• GANで生成された画像と、標準的な幾何的拡張技術（例：反転、回転、ズーム）を組み合わせ、ハイブリッドな拡張データセットを作成した。
• 交差エントロピー損失とAdam最適化を用いて、VGG16およびResNet50モデルを、元のデータセットおよび拡張済みデータセット上で学習させた。
• 訓練の安定化のため、エポック数25間、検証精度をモニタリングしながら、早期停止と学習率スケジューリングを適用した。
• テストセットにおける正確度を用いて、モデル性能を評価し、ベースライン、GAN拡張済み、幾何的拡張済みの各設定を比較した。

実験結果

リサーチクエスチョン

• RQ1 GANで生成された衛星画像によるEuroSATデータセットの拡張は、LULCタスクにおける分類精度を向上させるか？
• RQ2 データ拡張にDCGANとWGAN-GPを用いた場合、モデル性能に顕著な差が生じるか？
• RQ3 GANベースの拡張と幾何的拡張を組み合わせることで、単独で用いる場合と比較して、モデルの汎化性能にどのような影響を与えるか？
• RQ4 GANベースの拡張は、小規模な衛星画像データセットで学習する深層学習モデルの過学習を軽減するのを助けるか？
• RQ5 GANで生成された画像は、リモートセンシング応用における従来のデータ拡張の代替または補完として実用的か？

主な発見

• GAN拡張済みデータセットは、元のデータセットと同等またはわずかに向上したテスト精度を達成し、性能の低下は認められなかった。
• DCGANとWGAN-GPの選択に差は顕著に現れず、両者ともタスクに適した品質の画像を生成していることが示唆された。
• 幾何的拡張とGANで生成された画像の組み合わせは、幾何的拡張単独よりも優れた性能を示し、相乗効果があることが確認された。
• GAN拡張による改善効果は、データが限られた状況で顕著に現れ、過学習の軽減とモデルの汎化性能の向上に寄与した。
• 高いベースライン精度（例：ResNet50で99.04%）であっても、GAN拡張による性能の低下はなく、生成画像の品質が確認された。
• 結果から、GANベースのデータ拡張は、低データ環境における衛星画像分類タスクの深層学習モデルを改善する有効で実用的な戦略であると示唆された。