[논문 리뷰] Depth-Enhanced Feature Pyramid Network for Occlusion-Aware Verification of Buildings from Oblique Images

Qing Zhu, Shengzhi Huang외 4명|arXiv (Cornell University)|2020. 11. 26.

Remote Sensing and LiDAR Applications참고 문헌 62인용 수 15

한 줄 요약

이 논문은 기울기 영상과 3D 메시 모델에서 유도된 색상 및 깊이 데이터를 융합하여 음영 인식 건물 검증을 향상시키기 위해 깊이 강화형 특징 피라미드 네트워크(FFP)를 제안한다. 다중 척도 특징과 다중 시점 투표를 통합함으로써 제주도 데이터셋에서 98.1%의 재현율과 97.2%의 정확도를 달성하였으며, ResNet과 EfficientNet에 비해 각각 5%와 2% 높은 재현율과 정밀도를 기록하여, 최소한의 수동 검토로 거의 완전한 자동 건물 변경 검출을 가능하게 한다.

ABSTRACT

Detecting the changes of buildings in urban environments is essential. Existing methods that use only nadir images suffer from severe problems of ambiguous features and occlusions between buildings and other regions. Furthermore, buildings in urban environments vary significantly in scale, which leads to performance issues when using single-scale features. To solve these issues, this paper proposes a fused feature pyramid network, which utilizes both color and depth data for the 3D verification of existing buildings 2D footprints from oblique images. First, the color data of oblique images are enriched with the depth information rendered from 3D mesh models. Second, multiscale features are fused in the feature pyramid network to convolve both the color and depth data. Finally, multi-view information from both the nadir and oblique images is used in a robust voting procedure to label changes in existing buildings. Experimental evaluations using both the ISPRS benchmark datasets and Shenzhen datasets reveal that the proposed method outperforms the ResNet and EfficientNet networks by 5\% and 2\%, respectively, in terms of recall rate and precision. We demonstrate that the proposed method can successfully detect all changed buildings; therefore, only those marked as changed need to be manually checked during the pipeline updating procedure; this significantly reduces the manual quality control requirements. Moreover, ablation studies indicate that using depth data, feature pyramid modules, and multi-view voting strategies can lead to clear and progressive improvements.

연구 동기 및 목표

• . 주로 기하학적 망막 모델에서 유도된 3D 깊이 정보를 활용하여 건물 변화 탐지에서의 잘못된 경고를 줄이는 것이 목적이다.
• . 도시 건물의 尺도 변동 문제를 해결하기 위해 屋상과 외벽을 위한 통합된 다중 척도 특징 피라미드 네트워크를 개발한다.
• . 강건성을 향상시키기 위해 수직 및 기울기 영상에서의 다중 시점 정보를 투표 전략을 통해 융합한다.
• . 변경된 건물을 100%의 참 양성 검출률로 확보하면서도 낮은 잘못된 경고 비율을 유지하는 것이 목표이다. 이는 수동 품질 제어를 최소화하는 데 기여한다.

제안 방법

• . 구조에서 운동을 통한 복원(SfM) 및 다중 시점 스테레오(MVS) 파이프라인을 사용하여 3D 메시 모델을 재구성한다.
• . 알려진 카메라 자세를 사용하여 3D 메시 모델에서 기울기 영상 시점으로 깊이 맵을 렌더링한다.
• . 다중 척도 특징 학습을 위한 추가 융합 레이어를 갖춘 수정된 특징 피라미드 네트워크(FFP)에 색상 및 깊이 이미지를 융합하여 입력으로 사용한다.
• . 깊이 기반 음영 테스트를 통해 가시 패치를 추출하고, FFP은 이를 屋상, 외벽 또는 배경으로 분류한다.
• . 다중 시점 투표 전략을 통해 수직 및 기울기 영상의 다수 시점 예측을 통합하여 검출 신뢰도를 향상시킨다.
• . 데이터베이스에서 추출된 외곽선을 외부로 연장하여 모든 가시 시점에 투영함으로써 패치 추출 및 학습을 안내한다.

실험 결과

연구 질문

• RQ1 . 3D 메시 모델에서 유도된 깊이 강화 특징은 모호한 도시 텍스처에서 건물 특징의 구분 능력을 향상시키는가?
• RQ2 . 색상과 깊이 데이터를 융합한 특징 피라미드 네트워크는 ResNet 및 EfficientNet과 같은 표준 CNN보다 건물 검증 성능에서 뛰어나게 되는가?
• RQ3 . 다중 시점 투표 전략은 잘못된 경고를 줄이면서도 변경된 건물을 100%로 검출하는 데 얼마나 효과적인가?
• RQ4 . 깊이 데이터 및 다중 척도 특징 융합의 통합이 다양한 건물 크기와 복잡한 음영 상황에서 성능 향상에 얼마나 기여하는가?

주요 결과

• . 제안된 FFP 네트워크는 ISPRS 제주도 데이터셋에서 98.1%의 재현율과 97.2%의 정확도를 기록하였으며, ResNet에 비해 재현율 5.7%p, 정확도 5.0%p 향상되었다.
• . 선전 데이터셋에서는 96.5%의 재현율과 95.4%의 정확도를 기록하였으며, ResNet에 비해 각각 6.5%p와 7.0%p 높았다.
• . 분석 실험을 통해 깊이 데이터만으로도 모든 네트워크에서 정확도가 1%p 이상 향상되었으며, FFP에서 가장 뚜렷한 성과 향상가를 보였다.
• . 다중 시점 투표 전략은 낮은 잘못된 경고 비율을 유지하면서도 변경된 건물을 100% 참 양성으로 검출하는 데 성공하여 단일 시점 분석의 모호성을 효과적으로 해소하였다.
• . 작은 건물(100 m² 이하)에 대해서도 정확도가 92% 이상 유지되어 척도 변화에 대한 강건성을 입증하였으며, 건물 크기 변화에 관계없이 일관된 성능을 보였다.
• . 깊이 데이터 통합, 특징 피라미드 융합, 다중 시점 투표의 조합은 검출 성능 향상에 점진적이고 측정 가능한 기여를 하였다.