[論文レビュー] Change detection needs change information: improving deep 3D point cloud change detection

Iris de Gélis, Thomas Corpetti+1 more|arXiv (Cornell University)|Apr 25, 2023

Remote Sensing and LiDAR Applications参考文献 41被引用数 4

ひとこと要約

本稿では、深層3次元点群変化検出を向上させるために、ネットワークアーキテクチャの初期段階で変化関連情報を統合する手法を提案している。手作業で作成した特徴量と新しいシアン型アーキテクチャを用いる。最良のアーキテクチャ、Encoder Fusion SiamKPConvは、最先端手法と比較して変化クラスにおける平均交差率（mIoU）を5%以上向上させた。これは、変化関連特徴の早期統合が、セグメンテーション精度を顕著に向上させることを示している。

ABSTRACT

Change detection is an important task that rapidly identifies modified areas, particularly when multi-temporal data are concerned. In landscapes with a complex geometry (e.g., urban environment), vertical information is a very useful source of knowledge that highlights changes and classifies them into different categories. In this study, we focus on change segmentation using raw three-dimensional (3D) point clouds (PCs) directly to avoid any information loss due to the rasterization processes. While deep learning has recently proven its effectiveness for this particular task by encoding the information through Siamese networks, we investigate herein the idea of also using change information in the early steps of deep networks. To do this, we first propose to provide a Siamese KPConv state-of-the-art (SoTA) network with hand-crafted features, especially a change-related one, which improves the mean of the Intersection over Union (IoU) over the classes of change by 4.70%. Considering that a major improvement is obtained due to the change-related feature, we then propose three new architectures to address 3D PC change segmentation: OneConvFusion, Triplet KPConv, and Encoder Fusion SiamKPConv. All these networks consider the change information in the early steps and outperform the SoTA methods. In particular, Encoder Fusion SiamKPConv overtakes the SoTA approaches by more than 5% of the mean of the IoU over the classes of change, emphasizing the value of having the network focus on change information for the change detection task. The code is available at https://github.com/IdeGelis/torch-points3d-SiamKPConvVariants.

研究の動機と目的

• 変化関連情報をデコーダーでのみ統合するのではなく、ネットワークの初期段階に統合することで、3次元点群の変化検出を向上させること。
• ラスタライズドデータに依存するか、変化特徴を後段で統合する既存手法の限界を是正し、情報損失を回避すること。
• 生の3次元点群を直接処理し、複数スケールで変化特徴をエンコードするエンドツーエンドの深層学習アーキテクチャを設計すること。
• 手作業で作成した特徴量や学習されたアーキテクチャを用いて変化情報を明示的にモデル化することで、セグメンテーション性能が向上するかを評価すること。
• ラスタライズーションを行わず、生の点群を用いて、3次元点群の変化セグメンテーション分野における新たな最先端技術を確立すること。

提案手法

• シアン型KPConvネットワークの入力に、手作業で作成した変化関連特徴（例：安定性指標）を追加することで、初期の特徴学習を支援する。
• 3つの新しいアーキテクチャ（OneConvFusion、Triplet KPConv、Encoder Fusion SiamKPConv）を提案し、これらはすべて、モノクローディングと変化関連特徴をネットワークの初期段階で統合するように設計されている。
• 近隣特徴の差分にマルチスケール畳み込み演算を適用し、エンコーダー内で直接的に変化関連表現を生成する。
• シアン型KPConvをバックボーンとし、複数レベルでの両時系列入力からの特徴を統合するように変更された統合メカニズムを採用する。
• スイープ接続とマルチスケール統合を適用し、空間的詳細を保持するとともに、特徴の識別能を向上させる。
• Urb3DCDおよびAHN-CDデータセットを用いて、生の3次元点群上でエンドツーエンドに学習し、変化クラスにおけるmIoUを最適化する。

実験結果

リサーチクエスチョン

• RQ1 変化関連特徴を早期に統合することで、3次元点群の変化検出性能が向上するか？
• RQ2 アーキテクチャ設計が、生の3次元点群における変化検出およびセグメンテーション能力に与える影響は何か？
• RQ3 特徴の差分に畳み込みを適用して変化特徴を学習する方法が、手作業で作成した特徴量を上回るか？
• RQ4 変化特徴とモノクローディング特徴を早期に統合する場合、後段での統合と比較して、セグメンテーション精度がどの程度向上するか？
• RQ5 変化情報を内蔵的にエンコードするカスタムアーキテクチャは、追加された手作業特徴量を備えた標準シアン型ネットワークを上回る性能を発揮できるか？

主な発見

• シアン型KPConvネットワークに1つの手作業特徴（例：安定性）を追加することで、変化クラスにおけるmIoUが3.70%向上した。
• Encoder Fusion SiamKPConvアーキテクチャは、最先端手法と比較してmIoUを5%以上向上させ、Urb3DCDおよびAHN-CDデータセットの両方で優れた性能を示した。
• OneConvFusionネットワークは、マルチスケールモノクローディング特徴が欠落しているため性能が低く、元のデータ表現を保持することが重要であることを確認した。
• Triplet KPConvおよびEncoder Fusion SiamKPConvアーキテクチャは、10個の手作業特徴量を追加したシアン型KPConvと同等またはそれ以上の性能を達成した。これは、アーキテクチャ設計が手作業特徴工学の代替となり得ることを示している。
• Encoder Fusion SiamKPConvモデルでは、内部的に効果的な変化表現を学習しているため、手作業特徴の安定性指標が不要になった。
• 結果から、変化情報の早期エンコードが、3次元点群の変化検出における特徴学習とセグメンテーション精度を顕著に向上させることを確認した。