[논문 리뷰] Change detection needs change information: improving deep 3D point cloud change detection

Iris de Gélis, Thomas Corpetti외 1명|arXiv (Cornell University)|2023. 04. 25.

Remote Sensing and LiDAR Applications참고 문헌 41인용 수 4

한 줄 요약

이 논문은 깊이 있는 3D 포인트 클라우드 변화 감지 성능을 향상시키기 위해 네트워크 아키텍처의 초기 단계에서 변화 정보를 통합하는 방식을 제안한다. 수작업으로 만든 특징과 새로운 시아모스 기반 모델을 활용한다. 최고의 아키텍처인 Encoder Fusion SiamKPConv는 기존 최고 수준의 방법들에 비해 변화 클래스에 대한 평균 교차율(mIoU)을 5퍼센트 이상 향상시켰으며, 변화 관련 특징의 조기 융합이 분할 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Change detection is an important task that rapidly identifies modified areas, particularly when multi-temporal data are concerned. In landscapes with a complex geometry (e.g., urban environment), vertical information is a very useful source of knowledge that highlights changes and classifies them into different categories. In this study, we focus on change segmentation using raw three-dimensional (3D) point clouds (PCs) directly to avoid any information loss due to the rasterization processes. While deep learning has recently proven its effectiveness for this particular task by encoding the information through Siamese networks, we investigate herein the idea of also using change information in the early steps of deep networks. To do this, we first propose to provide a Siamese KPConv state-of-the-art (SoTA) network with hand-crafted features, especially a change-related one, which improves the mean of the Intersection over Union (IoU) over the classes of change by 4.70%. Considering that a major improvement is obtained due to the change-related feature, we then propose three new architectures to address 3D PC change segmentation: OneConvFusion, Triplet KPConv, and Encoder Fusion SiamKPConv. All these networks consider the change information in the early steps and outperform the SoTA methods. In particular, Encoder Fusion SiamKPConv overtakes the SoTA approaches by more than 5% of the mean of the IoU over the classes of change, emphasizing the value of having the network focus on change information for the change detection task. The code is available at https://github.com/IdeGelis/torch-points3d-SiamKPConvVariants.

연구 동기 및 목표

• 디코더에서만 변화 관련 정보를 처리하는 것이 아니라, 네트워크의 초기 단계에서 변화 정보를 보다 이르게 통합함으로써 3D 포인트 클라우드 변화 감지 성능을 향상시키는 것.
• 레이스터라이제이션된 데이터나 변화 특징의 후기 융합에 의존하는 기존 방법의 한계를 해결함으로써 정보 손실을 방지하는 것.
• 원시 3D 포인트 클라우드를 직접 처리하고 다중 척도에서 변화 특징을 인코딩하는 엔드 투 엔드 딥 러닝 아키텍처를 설계하는 것.
• 수작업으로 만든 특징이나 학습된 아키텍처를 통해 변화 정보를 명시적으로 모델링할 경우 분할 성능 향상 여부를 평가하는 것.
• 레이스터라이제이션 없이 원시 포인트 클라우드를 사용하여 3D 포인트 클라우드 변화 분할 분야에서 새로운 최고 수준의 성능을 확립하는 것.

제안 방법

• 수작업으로 만든 변화 관련 특징(예: 안정성 지표)을 시아모스 KPConv 네트워크의 입력으로 추가하여 초기 특징 학습을 이끌어내는 방식을 제안한다.
• OneConvFusion, Triplet KPConv, Encoder Fusion SiamKPConv의 세 가지 새로운 아키텍처를 도입하며, 이들은 모두 단일 일자 데이터와 변화 관련 특징을 네트워크의 초기 단계에서 융합하도록 설계되었다.
• 최근접 이웃 특징의 차이에 대해 다중 척도 컨볼루션 연산을 적용하여 인코더 단계에서 변화 관련 표현을 직접 생성한다.
• 시아모스 KPConv를 백본으로 사용하며, 시간적 입력 양쪽의 특징을 다중 수준에서 융합하는 수정된 융합 메커니즘을 적용한다.
• 스킵 연결과 다중 척도 융합을 적용하여 공간적 세부 정보를 유지하고 특징의 구분 능력을 향상시킨다.
• Urb3DCD 및 AHN-CD 데이터셋을 사용하여 원시 3D 포인트 클라우드에서 엔드 투 엔드로 모델을 훈련시키며, 변화 클래스에 대한 평균 IoU를 최적화한다.

실험 결과

연구 질문

• RQ1 변화 관련 특징을 조기에 통합하면 3D 포인트 클라우드 변화 감지 성능이 향상되는가?
• RQ2 아키텍처 설계가 원시 3D 포인트 클라우드에서 변화를 탐지하고 분할하는 데 있어 네트워크의 능력에 어떤 영향을 미치는가?
• RQ3 특징의 차이에 대해 컨볼루션을 적용하여 변화 특징을 학습하는 방식이 수작업 특징보다 성능이 뛰어나게 되는가?
• RQ4 변화 특징과 단일 일자 데이터 특징을 조기에 융합하는 방식이 후기 융합 대비 분할 정확도 향상에 얼마나 기여하는가?
• RQ5 변화 정보를 내재적으로 인코딩하는 맞춤형 아키텍처가 수작업 특징을 추가한 표준 시아모스 네트워크를 능가할 수 있는가?

주요 결과

• 시아모스 KPConv 네트워크에 단일 수작업 특징(예: 안정성)을 추가하면 변화 클래스에 대한 평균 IoU가 3.70% 향상된다.
• Encoder Fusion SiamKPConv 아키텍처는 기존 최고 수준의 방법에 비해 mIoU를 5퍼센트 이상 향상시켰으며, Urb3DCD 및 AHN-CD 데이터셋 양쪽에서 기존 방법들을 능가하는 성능을 기록했다.
• OneConvFusion 네트워크는 다중 척도 단일 일자 데이터 특징의 부재로 인해 성능이 열등하여 원본 데이터 표현을 유지하는 것이 중요하다는 점을 확인한다.
• Triplet KPConv 및 Encoder Fusion SiamKPConv 아키텍처는 시아모스 KPConv에 10개의 수작업 특징을 추가한 경우와 비교해도 성능이 유사하거나 뛰어나, 아키텍처 설계가 수작업 특징 공학을 대체할 수 있음을 시사한다.
• Encoder Fusion SiamKPConv 모델은 내부적으로 효과적인 변화 표현을 학습하므로 수작업 안정성 특징이 불필요해진다.
• 결과는 변화 정보를 조기에 인코딩할 경우 특징 학습과 분할 정확도 향상에 크게 기여한다는 점을 확인한다.