[論文レビュー] Material Segmentation of Multi-View Satellite Imagery

Matthew Purri, Jia Xue+6 more|arXiv (Cornell University)|Apr 17, 2019

Remote-Sensing Image Classification参考文献 49被引用数 8

ひとこと要約

本論文は、マルチビューおよびマルチスペクトル衛星画像を活用して、リモートセンシングにおける素材分類を向上させるための反射率残差符号化手法を提案する。疎な反射率サンプルと学習済みの密集した反射率関数の辞書との差分を符号化することで、UNet、FCN、1次元ピクセル単位ネットワークの全般的なピクセル分類および意味的分類性能が向上し、マルチスペクトルデータのみを用いたベースライン手法に比べて平均IoUが最大21.0%向上する。

ABSTRACT

Material recognition methods use image context and local cues for pixel-wise classification. In many cases only a single image is available to make a material prediction. Image sequences, routinely acquired in applications such as mutliview stereo, can provide a sampling of the underlying reflectance functions that reveal pixel-level material attributes. We investigate multi-view material segmentation using two datasets generated for building material segmentation and scene material segmentation from the SpaceNet Challenge satellite image dataset. In this paper, we explore the impact of multi-angle reflectance information by introducing the extit{reflectance residual encoding}, which captures both the multi-angle and multispectral information present in our datasets. The residuals are computed by differencing the sparse-sampled reflectance function with a dictionary of pre-defined dense-sampled reflectance functions. Our proposed reflectance residual features improves material segmentation performance when integrated into pixel-wise and semantic segmentation architectures. At test time, predictions from individual segmentations are combined through softmax fusion and refined by building segment voting. We demonstrate robust and accurate pixelwise segmentation results using the proposed material segmentation pipeline.

研究の動機と目的

• マルチビュー衛星画像における高密度な素材ラベル付けのための効率的なパイプラインの開発。
• 単一画像手法では得られないマルチアングル反射率情報を活用して、素材分類性能の向上。
• 物理的根拠を持つ符号化手法「反射率残差」を導入し、角度的およびスペクトル的反射率変動を捉える。
• ソフトマックス融合とマスク後処理を用いて分類性能の向上。
• SpaceNet衛星データセットを用いて、大気状態やシーンの多様性にわたる頑健性の実証。

提案手法

• 反射率残差符号化は、マルチビュー衛星画像から得られる疎な反射率関数と、事前に定義された密集した反射率関数の辞書との差分を計算する。
• この手法は、1次元ピクセル単位ネットワークおよび2次元意味的分類ネットワーク（UNet、FCN、EncNet）に、反射率残差を追加の入力特徴として統合する。
• 推論時における個々のビューからの予測は、ソフトマックス融合を用いて統合され、信頼性と一貫性が向上する。
• 別個の建物セグメンテーションマスクを用いて、特に屋根素材の分類を改善し、境界の正確性を高め、誤検出を低減する。
• 本手法は、2つのデータセット（建物素材分類およびSpaceNetチャレンジからの全シーン素材分類）で評価される。
• 正例マスクは、建物の輪郭と事前学習済みのセグメンテーションネットワークの組み合わせにより生成され、高密度かつ高精度なアノテーションを確保する。

実験結果

リサーチクエスチョン

• RQ1 マルチアングル反射率情報は、衛星画像における素材分類性能を顕著に向上させることができるか？
• RQ2 標準的なマルチスペクトルデータのみを用いた特徴量と比較して、反射率残差符号化は分類精度をどのように向上させるか？
• RQ3 ソフトマックス融合と建物マスク後処理は、分類品質と頑健性をどの程度向上させるか？
• RQ4 大気状態が異なる地域（例：トレーニングデータのないオマハ）において、本手法はどの程度一般化可能か？
• RQ5 反射率残差符号化は、金属、セラミック、水といった困難な素材の分類性能を向上させるか？

主な発見

• 反射率残差符号化により、マルチスペクトルデータのみを用いた場合に比べ、平均IoUが最大21.0%向上し、F1スコアが13.4%向上した。
• 反射率残差を組み込んだUNetアーキテクチャは、シーン素材分類データセットにおいて、ピクセル単位の精度（85.6%）と平均IoU（71.2%）が最高を記録した。
• 反射率残差を組み込んだ1次元ピクセル単位ネットワークは、平均F1スコア（82.1%）と平均IoU（71.2%）の両方で、空間的文脈を欠いたにもかかわらず、他のすべての手法を上回った。
• トレーニングデータが不足するオマハ地域への一般化性能は著しく低く、大気の変動が性能に与える影響を浮き彫りにした。
• 反射率残差は、境界領域におけるセラミック、金属、水といった困難な素材の分類を顕著に向上させた。
• 建物マスク後処理により、誤検出が低減され、特に屋根素材の分類において視覚的品質が向上した。幾何的制約を活用して予測を精緻化した。