[論文レビュー] An Open-source Tool for Hyperspectral Image Augmentation in Tensorflow

Mohamed Abdelhack|arXiv (Cornell University)|Mar 30, 2020

Remote-Sensing Image Classification参考文献 10被引用数 7

ひとこと要約

本論文は、4チャンネルを超えるスペクトルチャンネルを有する高スペクトル衛星画像のためのオープンソースでTensorFlow互換の画像増強ツールを紹介する。Keras/TensorFlowのネイティブな機能を拡張し、13バンドのスペクトルデータをサポート。フリップ、回転、ズーム、シアー、スペックルノイズなどの技術を可能にし、フリップを用いた場合に93.43%、スペックルノイズを用いた場合に91.25%のテスト精度を達成。アンダーフィットモデルを上回る性能を示した。

ABSTRACT

Satellite imagery allows a plethora of applications ranging from weather forecasting to land surveying. The rapid development of computer vision systems could open new horizons to the utilization of satellite data due to the abundance of large volumes of data. However, current state-of-the-art computer vision systems mainly cater to applications that mainly involve natural images. While useful, those images exhibit a different distribution from satellite images in addition to having more spectral channels. This allows the use of pretrained deep learning models only in a subset of spectral channels that are equivalent to natural images thus discarding valuable information from other spectral channels. This calls for research effort to optimize deep learning models for satellite imagery to enable the assessment of their utility in the domain of remote sensing. Tensorflow tool allows for rapid prototyping and testing of deep learning models, however, its built-in image generator is designed to handle a maximum of four spectral channels. This manuscript introduces an open-source tool that allows the implementation of image augmentation for hyperspectral images in Tensorflow. Given how accessible and easy-to-use Tensorflow is, this tool would provide many researchers with the means to implement, test, and deploy deep learning models for remote sensing applications.

研究の動機と目的

• 4チャンネルを超えるスペクトルチャンネルを有する高スペクトル衛星画像のための、オープンソースでTensorFlowネイティブな増強ツールの不足を解消すること。
• TensorFlowのような広く採用されているフレームワークを用いて、高スペクトルリモートセンシングデータに標準的なディープラーニングのデータ増強技術を適用できるようにすること。
• 衛星画像に特有のノイズモデルおよび幾何変換を導入することで、高スペクトル衛星画像分類のためのディープニューラルネットワークの汎化性能と性能を向上させること。
• オープンアクセスの衛星データ（例：EuroSAT）と互換性がある、使いやすいMITライセンスのツールを提供することで、リモートセンシング分野におけるディープラーニングの広範なアクセスを促進すること。

提案手法

• scikit-imageツールボックスを用いてPythonでカスタム画像ジェネレータを開発し、TensorFlowのKeras ImageDataGeneratorを13チャンネルまでの高スペクトル画像に拡張した。
• 標準的な増強技術を実装：水平・垂直フリップ、回転（最大90°）、ズーム（最大1.5倍）、平行移動（画像サイズの25％まで）、シアー（最大5％）、および分散0.010の乗法的（スペックル）ノイズ。
• 形状ファイルの座標を用いてJPEG 2000衛星画像から直接画像クロップを抽出するように設計し、トレーニング中に空間的文脈を保持した。
• 10クラス分類のため、13チャンネル入力を受容可能に変更したVGG19をベースとするCNNアーキテクチャを用い、全結合層を2048×2048、2048×1024、1024×10に再構成した。
• エッジピクセルを繰り返すことで、平行移動やシアー後の画像サイズを維持しながら、トレーニング中にリアルタイムでクロップと変換を適用した。
• エポック10回、1エポックあたり500バッチ（各128枚）で学習を実施。Adam最適化法（初期値学習率=0.001）とカテゴリカル交差エントロピー損失関数を用いた。

実験結果

リサーチクエスチョン

• RQ1 自然画像のディープラーニングで用いられる標準的な画像増強技術が、高スペクトル衛星画像に効果的に適用可能か？
• RQ2 衛星データに一般的なスペックルノイズを含めることで、高スペクトル画像分類におけるモデルの汎化性能と性能にどのような影響を与えるか？
• RQ3 限られた高スペクトルデータセットで学習されたディープニューラルネットワークにおいて、データ増強がテスト精度を向上させ、過学習を軽減する程度はどの程度か？
• RQ4 TensorFlow互換のオープンソースツールが、ディープラーニングフレームワークとリモートセンシング応用の間のギャップを埋められるか？

主な発見

• 水平および垂直フリップにより、テスト精度が93.43%に上昇し、増強なしのベースライン（87.66%）を顕著に上回った。
• 5%の範囲でシアーを適用した場合、最高のテスト精度90.93%を記録し、幾何的歪みに対する強い汎化効果が示された。
• 分散0.010のスペックルノイズ増強により、テスト精度が91.25%に向上し、実際の衛星ノイズを模擬する価値があることが示された。
• ズーム増強では、ベースラインと比較してテスト精度がわずかに低下（88.59%）したが、これは画像歪みやパディング効果による可能性がある。
• 平行移動増強では、画像がずれる際の破壊的エッジパディングが原因で、テスト精度が70.00%に低下した。
• 増強なしのモデルは87.66%のテスト精度を示したが、学習可能なパラメータが2100万個、トレーニングサンプルが21,000件であったため、過学習のリスクが高かった。これは増強の重要性を強調している。