[論文レビュー] Randomized Histogram Matching: A Simple Augmentation for Unsupervised Domain Adaptation in Overhead Imagery

Can Yaris, Kassaw, Kaleb+3 more|arXiv (Cornell University)|Apr 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 6

ひとこと要約

本稿では、上空画像における教師なしドメイン適応のためのシンプルでリアルタイムなデータ拡張技術、ランダム化ヒストグラムマッチング（RHM）を提案する。トレーニング中にランダム化ヒストグラムマッチングを適用することにより、センサーや照明、大気の変化に起因するスペクトルドメインシフトに対して、深層ニューラルネットワーク（DNN）が耐性を持つようになり、CycleGANなどの最先端手法と同等の性能を達成する一方で、はるかに高速かつ実装が簡単である。

ABSTRACT

Modern deep neural networks (DNNs) are highly accurate on many recognition tasks for overhead (e.g., satellite) imagery. However, visual domain shifts (e.g., statistical changes due to geography, sensor, or atmospheric conditions) remain a challenge, causing the accuracy of DNNs to degrade substantially and unpredictably when testing on new sets of imagery. In this work, we model domain shifts caused by variations in imaging hardware, lighting, and other conditions as non-linear pixel-wise transformations, and we perform a systematic study indicating that modern DNNs can become largely robust to these types of transformations, if provided with appropriate training data augmentation. In general, however, we do not know the transformation between two sets of imagery. To overcome this, we propose a fast real-time unsupervised training augmentation technique, termed randomized histogram matching (RHM). We conduct experiments with two large benchmark datasets for building segmentation and find that despite its simplicity, RHM consistently yields similar or superior performance compared to state-of-the-art unsupervised domain adaptation approaches, while being significantly simpler and more computationally efficient. RHM also offers substantially better performance than other comparably simple approaches that are widely used for overhead imagery.

研究の動機と目的

• 未知のドメインシフトにより、新規の上空画像に適用されたディープラーニングモデルの性能低下を是正すること。
• センサーの違い、照明、大気状態に起因するスペクトルドメインシフトが、特定のデータ拡張によって軽減可能かどうかを調査すること。
• ドメインシフト変換の事前知識が不要な、シンプルでリアルタイムかつ計算効率の良い拡張手法を開発すること。
• RHMが広く使われている単純な拡張手法を上回り、ビルディングセグメンテーションタスクにおいて最先端のドメイン適応手法と同等またはそれを上回ることを実証すること。

提案手法

• RHMは、ソースドメインとターゲットドメインの画像間の非線形的かつピクセル単位の変換としてドメインシフトをモデル化する。
• この手法は、同じバッチ内からランダムに選択されたターゲット画像のヒストグラムを用いて、ソース画像のピクセル強度をスケーリングし、ヒストグラムマッチングを実行する。
• ランダム化は、現在のトレーニングバッチからランダムにターゲット画像を選択することで導入され、トレーニング中に多様で確率的なドメインシフトのシミュレーションが保証される。
• このアプローチはトレーニング中にオンラインで適用され、事前計算されたヒストグラムや別個のモデル学習を必要としない。
• エントロピーに基づくリサンプリングを用いてトレーニングサンプルを再重み付けし、より不確実な予測に注目することで、耐性を向上させる。
• この手法は標準的なディープラーニングフレームワークと互換性があり、標準的なトレーニング設定を超えて追加のハイパーパrameterチューニングは不要である。

実験結果

リサーチクエスチョン

• RQ1 スペクトルドメインシフトが、明示的なドメイン適応ネットワークを用いずに、データ拡張のみで効果的に軽減可能かどうか。
• RQ2 RHMは、ガンマ、HSV、アフィン変換などの他の単純な拡張戦略と比較して、ドメインシフトに対してどれほど耐性があるか。
• RQ3 RHMは、ビルディングセグメンテーションタスクにおいて、CycleGAN や ColorMapGAN などの複雑な最先端のドメイン適応手法と同等の性能を達成するか。
• RQ4 RHMは、顕著な計算オーバーヘッドを伴わず、リアルタイムトレーニングに効率的に適用可能か。
• RQ5 エントロピーに基づくリサンプリングは、多様なターゲットドメインにわたってRHMの性能をさらに向上させるか。

主な発見

• RHMはInriaデータセットでmIoU 0.615、DeepGlobeデータセットでmIoU 0.618を達成し、他のすべての単純な拡張ベースラインを上回った。
• 多数対多数の設定では、RHMは都市平均mIoU 0.615を達成し、CycleGANの0.610を上回り、全9都市の全ベースラインを上回った。
• RHMはResNet-18エンコーダーを用いることで、トレーニング時間のオーバーヘッドをたったの1.88％にまで低減した。これはHSV拡張（4.08％）よりも顕著に高速であり、より単純な手法と同等の水準であった。
• エントロピーに基づくリサンプリングは、9都市中8都市でRHMの性能を向上させ、全体および都市別mIoUの両方で一貫した向上を示した。
• RHMは、別個のドメイン適応ネットワークを学習せず、CycleGANなどのモデルが一般的に要する数日間の学習時間とは異なる、最先端の性能を達成した。
• RHMは、ドメイン間の真の変換が未知であっても、シンプルでデータ駆動型の拡張によってスペクトルドメインシフトに対する耐性を達成できることを示した。