[論文レビュー] Change Detection between Multimodal Remote Sensing Data Using Siamese CNN

Zhenchao Zhang, George Vosselman+3 more|arXiv (Cornell University)|Jul 25, 2018

Remote Sensing and LiDAR Applications被引用数 33

ひとこと要約

本論文は、3次元航空レーザースキャニングデータと2次元航空写真の間で建物および木の変化を検出するため、シアンプル畳み込みニューラルネットワーク（S-CNN）フレームワークを提案する。両方のデータ形式を2次元グレースケール画像パッチに変換し、学習された特徴類似度に基づいてパッチペアを変化あり／なしに分類する、微調整済みS-CNNを用い、オブジェクトレベルで結果をグループ化・検証する。都市部テストデータにおいて、パッチレベルで86.4％の正確性を達成した。

ABSTRACT

Detecting topographic changes in the urban environment has always been an important task for urban planning and monitoring. In practice, remote sensing data are often available in different modalities and at different time epochs. Change detection between multimodal data can be very challenging since the data show different characteristics. Given 3D laser scanning point clouds and 2D imagery from different epochs, this paper presents a framework to detect building and tree changes. First, the 2D and 3D data are transformed to image patches, respectively. A Siamese CNN is then employed to detect candidate changes between the two epochs. Finally, the candidate patch-based changes are grouped and verified as individual object changes. Experiments on the urban data show that 86.4\\% of patch pairs can be correctly classified by the model.

研究の動機と目的

• 3次元レーザースキャンと2次元航空画像の間のマルチモーダルリモートセンシングデータを用いた都市環境における地形的変化検出の課題に対処すること。
• ノイズ、隠蔽、ずれ、データギャップなどのモダリティ固有の差異が原因で生じる誤検出を回避すること。
• 実際の構造的変化（例：新築の建物、木の伐採）と、データ取得の差異に起因するアーティファクトを区別できるエンドツーエンドの学習フレームワークを開発すること。
• 両方のデータ（画像およびレーザースキャン）のアーカイブを保有する国営地図作成機関が、堅牢で自動的かつスケーラブルな変化検出を可能にすること。
• シアンプルCNNによる深層特徴学習を活用し、マルチモーダルデータ間の複雑で非線形な差異をモデル化することで、検出の正確性を向上させること。

提案手法

• 光度計測技術を用いて、3次元レーザースキャニング点群と2次元航空画像を2.5次元デジタル表面モデル（DSM）に変換する。
• 非線形な高さから強度へのマッピング関数を用いて、得られたDSMをグレースケール画像パッチに変換し、詳細な高さ変動を保持する。
• 同一のサブネットワークを2つ備えたシアンプルCNNアーキテクチャを採用し、異なる時刻のパッチペアを処理することで、特徴表現の類似度を学習する。
• シアンプルブランチの最終特徴ベクトル間のL2距離（ユークリッド距離）を類似度スコアとして用い、パッチペアを変化あり／なしに分類する。
• レーザースキャンのずれや密一致エラーなどのデータアーティファクトに起因する誤検出を改善するため、S-CNNに微調整戦略を適用する。
• パッチレベルでの変化検出結果を一貫性のあるオブジェクトレベルの変化にグループ化し、生のオルソ画像と視覚的検査を用いて結果を検証することで、誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 3次元レーザースキャンデータと2次元航空写真の間には強いモダリティ差異があるが、シアンプルCNNはそれらの間で意味のある変化を効果的に検出できるか？
• RQ2 S-CNNモデルは、実際の構造的変化（例：新築の建物、木の植栽／伐採）と、データ固有のアーティファクトに起因する誤検出をどの程度正確に区別できるか？
• RQ3 本研究で提案するフレームワークは、マルチモーダルリモートセンシングデータにおけるずれ、ノイズ、または隠蔽に起因する誤検出をどの程度効果的に低減できるか？
• RQ4 パッチベースの検出結果を信頼性高くオブジェクトレベルの変化レポートにグループ化・検証できるか？
• RQ5 微調整を施したシアンプルアーキテクチャを用いることで、手作業の特徴工学や直接的なDSM差分処理に依存する従来の変化検出手法に比べ、性能が優れているか？

主な発見

• シアンプルCNNはパッチレベルの変化検出においてテスト精度86.4％を達成し、正確度79.9％、再現度80.6％を示した。
• モデルは、新築の建物、解体された建物、木の植栽または伐採といった実際の変化を正常に同定できた。
• 誤検出の主な原因は、車両の移動と密一致エラーであり、特にテクスチャが乏しいまたは影がかかる領域で顕著だった。
• 小規模な木の変化の検出に欠落誤検出が生じたのは、モデルの感度限界やパッチペアのコントラストが低いためであった。
• 最終段階のオブジェクトレベルの検証により、特に細かい枝構造のためのスパarsな構造が密一致結果で消失した木の誤検出が顕著に低減された。
• 手作業の特徴工学やエンドツーエンド統合を回避しながらも、高い推論効率を維持したまま、従来手法を上回る性能を示した。