[論文レビュー] Hyperspectral Data Augmentation

Jakub Nalepa, Michał Myller+1 more|arXiv (Cornell University)|Mar 13, 2019

Remote-Sensing Image Classification参考文献 13被引用数 4

ひとこと要約

本論文は、トレーニング時ではなく推論時に合成サンプルを生成する、新しいオンラインハイパースペクトルデータ拡張技術を提案している。この手法により、トレーニング時間を増加させることなく深層ニューラルネットワークの一般化性能が向上する。主成分分析（PCA）に基づく拡張法を導入し、データ分布とクラス間関係を保持する。オフライン手法と組み合わせることで、最先端の分類精度を達成し、リアルタイムでの推論性能を実現する。

ABSTRACT

Data augmentation is a popular technique which helps improve generalization capabilities of deep neural networks. It plays a pivotal role in remote-sensing scenarios in which the amount of high-quality ground truth data is limited, and acquiring new examples is costly or impossible. This is a common problem in hyperspectral imaging, where manual annotation of image data is difficult, expensive, and prone to human bias. In this letter, we propose online data augmentation of hyperspectral data which is executed during the inference rather than before the training of deep networks. This is in contrast to all other state-of-the-art hyperspectral augmentation algorithms which increase the size (and representativeness) of training sets. Additionally, we introduce a new principal component analysis based augmentation. The experiments revealed that our data augmentation algorithms improve generalization of deep networks, work in real-time, and the online approach can be effectively combined with offline techniques to enhance the classification accuracy.

研究の動機と目的

• リモートセンシング分野における、限られた、収集にコストがかかる、かつ不均衡なハイパースペクトル画像（HSI）トレーニングデータの課題に対処すること。
• トレーニング時間を増加させることなく、HSI分類およびセグメンテーションにおける深層ニューラルネットワークの一般化性能を向上させること。
• トレーニング時ではなく推論時に合成サンプルを生成する、新しいオンラインデータ拡張手法を提案すること。
• データ分布とクラス間関係を保持するPCAベースの拡張技術を開発すること。
• オンラインおよびオフライン拡張の組み合わせの有効性を評価することにより、分類精度を向上させること。

提案手法

• ノイズ注入とPCAベースの変換を用いて、推論時に合成HSIサンプルを生成することで、オンラインデータ拡張を提案。
• データを低次元空間に射影し、摂動を加えた後、すべての主成分を用いて元の空間に再射影するPCAベースの拡張法を適用。
• 元のサンプルと拡張済みサンプルの予測結果を統合する投票方式を用い、予測のロバスト性を向上。
• PCAを元のトレーニングセット上で学習し、オフライン（トレーニングデータの拡張）およびオンライン（テスト時におけるサンプル生成）の両方で適用。
• 効率的な推論を実現するため、軽量な1次元スペクトル畳み込みニューラルネットワーク（CNN）を用い、バッチ正則化と全結合層を分類に適用。
• オンライン拡張（PCA-ON、ノイズ-ON）とオフライン手法（PCA、GAN、ノイズ）を組み合わせることで、モデル性能を向上。

実験結果

リサーチクエスチョン

• RQ1 推論時にオンラインデータ拡張を実施することで、ハイパースペクトル画像分類における深層ニューラルネットワークの一般化性能が向上するか？
• RQ2 PCAベースのデータ拡張は、HSIデータにおける元のデータ分布とクラス間関係をどれほど効果的に保持できるか？
• RQ3 オンラインおよびオフラインデータ拡張を組み合わせることで、HSIベンチマークにおける分類精度にどのような影響を与えるか？
• RQ4 推論速度を低下させることなく、オンライン拡張をリアルタイムで実行できるか？
• RQ5 性能およびトレーニング効率の観点から、従来のオフライン拡張手法と比較して、オンライン拡張はどのように優れているか？

主な発見

• PCA-ONおよびノイズ注入を用いたオンラインデータ拡張は、Salinas Valley、Indian Pines、Pavia Universityの3つのHSIベンチマークにおいて、分類精度を顕著に向上させる。
• オフラインPCAとオンラインPCA-ON（PCA/PCA-ON）の組み合わせが、ベースラインモデル比最大2.5%の向上を達成し、最高の全体精度を記録した。
• 提案手法はリアルタイムでの推論速度を維持しており、衛星プラットフォームなどリソース制約のある環境への実装に適している。
• 可視化および定量的分析により、PCAベースの拡張が元のデータ分布とクラス間関係を効果的に保持していることが確認された。
• GANベースのオフライン拡張とオンラインPCA-ONを統合することで、性能がさらに向上し、両手法の相乗効果が示された。
• 特に、限られたトレーニングデータと不均衡なデータセットの処理において、既存の最先端のオフライン拡張手法を上回る性能を発揮した。