[論文レビュー] Tiling and Stitching Segmentation Output for Remote Sensing: Basic Challenges and Recommendations

Bohao Huang, Daniël Reichman+3 more|arXiv (Cornell University)|May 30, 2018

Advanced Neural Network Applications参考文献 21被引用数 30

ひとこと要約

本論文は、推論時に畳み込みニューラルネットワーク（CNN）の入力サイズを増大させることで、大規模なリモートセンシング画像のセマンティックセグメンテーションのための修正された推論戦略を提案している。この戦略により、パッチタイリングとステッチの依存度が低下し、推論時間が著しく短縮され、精度が向上した。このアプローチにより、建物セグメンテーションのコンペティションで優勝を達成した。

ABSTRACT

In this work we consider the application of convolutional neural networks (CNNs) for pixel-wise labeling (a.k.a., semantic segmentation) of remote sensing imagery (e.g., aerial color or hyperspectral imagery). Remote sensing imagery is usually stored in the form of very large images, referred to as "tiles", which are too large to be segmented directly using most CNNs and their associated hardware. As a result, during label inference, smaller sub-images, called "patches", are processed individually and then "stitched" (concatenated) back together to create a tile-sized label map. This approach suffers from computational ineffiency and can result in discontinuities at output boundaries. We propose a simple alternative approach in which the input size of the CNN is dramatically increased only during label inference. This does not avoid stitching altogether, but substantially mitigates its limitations. We evaluate the performance of the proposed approach against a vonventional stitching approach using two popular segmentation CNN models and two large-scale remote sensing imagery datasets. The results suggest that the proposed approach substantially reduces label inference time, while also yielding modest overall label accuracy increases. This approach contributed to our wining entry (overall performance) in the INRIA building labeling competition.

研究の動機と目的

• 大規模なリモートセンシング画像のセマンティックセグメンテーションにおいて、タイリングとステッチによって引き起こされる計算上の非効率性と境界の不連続性を解消すること。
• 非常に大きな航空画像またはハイパースペクトル画像のピクセル単位分類における推論時間を短縮し、ラベルの正確性を向上させること。
• ステッチアーチファクトを最小限に抑える、従来のパッチベース推論の実用的代替案を提示すること。
• 実世界のデータセットを用いてこの手法を評価し、標準的なタイリング・ステッチワークフローと比較して性能向上を示すこと。
• 大規模なリモートセンシング画像にCNNを展開するための実行可能な推奨事項を提供すること。

提案手法

• 小さな画像パッチを処理して推論後にステッチするのではなく、推論時にCNNの受容 field（受容野）を拡大し、より大きな領域を一度に処理する。
• モデルは従来のパッチベース学習で訓練するが、推論時に大きな入力サイズを使用することで、明示的なステッチの必要性を低減する。
• モデルアーキテクチャと学習手順は維持するが、推論フェーズでの入力サイズのみを変更する。
• 隣接する領域が重複する受容野で処理されるため、パッチステッチに起因する境界アーチファクトが最小限に抑えられる。
• 再訓練を必要とせず、既存の事前学習済みモデルとも互換性がある。
• 評価には2つの代表的なCNNアーキテクチャと2つの大規模なリモートセンシングデータセットを用い、性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 推論時の入力サイズを拡大することで、標準的なタイリング・ステッチ手法と比較して、セグメンテーションの正確性にどのような影響を与えるか？
• RQ2 提案手法は、大規模なリモートセンシング画像のセグメンテーションにおいて、推論時間をどの程度短縮できるか？
• RQ3 提案手法は、パッチステッチに起因する境界の不連続性を緩和できるか？
• RQ4 複雑な空間的構造を持つ実世界のリモートセンシングデータセットにおいて、この手法はどのように性能を発揮するか？
• RQ5 このアプローチは、大規模セグメンテーションチャレンジにおける競争成績にどのような影響を与えるか？

主な発見

• 提案手法は、従来のタイリング・ステッチ手法と比較して、ラベル推論時間を顕著に短縮した。
• 両方のデータセットとモデルにおいて、わずかではあるが一貫した精度向上が得られた。
• このアプローチは、INRIAの建物ラベル付けコンペティションで優勝エントリを達成し、実世界での有効性を実証した。
• 推論時に大きな受容野を用いることで、ステッチに起因する境界アーチファクトが顕著に低減された。
• アーキテクチャの変更や再訓練を一切行わずに、高い性能を維持した。
• 結果から、推論時の入力サイズを拡大することは、パッチベース処理の実用的で効果的な代替手段であることが示された。