[논문 리뷰] ImpliCity: City Modeling from Satellite Images with Deep Implicit Occupancy Fields

Corinne Stucker, B. Ke외 4명|arXiv (Cornell University)|2022. 01. 24.

Remote Sensing and LiDAR Applications참고 문헌 40인용 수 13

한 줄 요약

IMPLICITY는 위성 영상에서 도시 환경의 3D 재구성을 위한 깊이 있는 암시적 신경 장을 도입하며, 사진측량 기반의 점군과 스테레오 옥토-사진을 활용하여 장면 기하학을 연속적인 점유도 장으로 모델링한다. 이는 중앙값 높이 오차 0.7 m를 기록하며 기존의 스테레오 파ip라인과 학습된 정밀화 방법보다 뾰족한 지붕 윤곽선과 날카로운 건물 윤곽선 같은 미세 기하학적 세부 정보를 더 잘 재현한다.

ABSTRACT

High-resolution optical satellite sensors, combined with dense stereo algorithms, have made it possible to reconstruct 3D city models from space. However, these models are, in practice, rather noisy and tend to miss small geometric features that are clearly visible in the images. We argue that one reason for the limited quality may be a too early, heuristic reduction of the triangulated 3D point cloud to an explicit height field or surface mesh. To make full use of the point cloud and the underlying images, we introduce ImpliCity, a neural representation of the 3D scene as an implicit, continuous occupancy field, driven by learned embeddings of the point cloud and a stereo pair of ortho-photos. We show that this representation enables the extraction of high-quality DSMs: with image resolution 0.5$\,$m, ImpliCity reaches a median height error of $\approx\,$0.7$\,$m and outperforms competing methods, especially w.r.t. building reconstruction, featuring intricate roof details, smooth surfaces, and straight, regular outlines.

연구 동기 및 목표

• 고해상도 입력에도 불구하고 노이즈가 많고 소규모 기하학적 특징을 누락하는 기존의 스테레오 유도 DSM의 한계를 해결하기 위해.
• 암시적 신경 표현이 명시적 2.5D 또는 메쉬 기반 표현에 비해 대규모 도시 환경에서 미세한 3D 기하학을 더 잘 유지할 수 있는지 탐구하기 위해.
• 공유된 잠재 공간에 3D 점군 기하학과 다중 시야 영상 정보를 동시에 인코딩하여 재구성 품질을 향상시키기 위해.
• 위성 영상과 사진측량 기반 점군만을 사용하여 매끄러운 표면, 직선 윤곽선, 복잡한 지붕 세부 정보를 포함한 고해상도 디지털 표면 모델(DSM)을 생성하기 위해.

제안 방법

• 이 방법은 좌표 기반 암시적 신경망을 사용하여 3D 장면 기하학을 연속적인 점유도 장 fθ(x)로 표현하며, 여기서 x는 3D 좌표이고 fθ(x)는 점유도 확률을 예측한다.
• 지역 점군 기하학은 x 주변의 국소적 점군을 처리하는 형태 인코더를 통해 인코딩되며, 이를 통해 형태 코드 ψ를 생성한다.
• 이미지 가이드드 잠재 코드 ξ는 하나 또는 두 개의 정규화된 위성 영상에서 컨볼루션 이미지 인코더를 사용하여 생성되며, 이미지 패턴을 3D 기하학과 정렬한다.
• 최종 점유도 예측은 다중 척도 디코더 네트워크를 통해 형태 코드 ψ와 이미지 코드 ξ를 융합하여 계산되며, 이는 이미지의 불연속성과 정밀하게 정렬된다.
• 모델은 예측된 점유도와 참값 간의 이진 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 기준 DSM에 의해 지도된다.
• 추론 과정에서는 그리드 상의 3D 좌표에서 네트워크를 쿼리하여 래스터화나 메시 생성 없이 고해상도 연속적인 DSM을 생성한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 위성 유도 점군에서 기존의 명시적 2.5D DSM에 비해 깊이 있는 암시적 신경 장 표현이 미세 기하학적 세부 정보를 더 잘 재구성할 수 있는가?
• RQ2 단일 또는 이중 영상 정보를 통합할 경우, 도시 환경에서 암시적 3D 장면 재구성의 정확도와 기하학적 충실도는 어떻게 향상되는가?
• RQ3 저~중간 해상도 위성 데이터로 훈련된 암시적 표현이, 도미너나 직선 건물 윤곽선 같은 소규모 특징을 어느 정도 유지할 수 있는가?
• RQ4 점군 기하학과 영상 특징의 별도 인코딩이 공유된 잠재 표현에 비해 재구성 품질과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 암시적 표현은 몇 km²에 이르는 도시 규모의 장면에 효과적으로 스케일링되며 고해상도 기하학적 세부 정보를 유지할 수 있는가?

주요 결과

• IMPLICITY는 건물 재구성에서 중앙값 절대 오차(MedAE)를 0.7 m로 기록하며, 기존의 스테레오 파이프라인과 학습된 정밀화 방법보다 뚜렷이 뛰어나다.
• 표준 스테레오 유도 DSM에 비해 전체 평균 절대 오차(MAE)를 60% 이상 감소시켰으며, 지형과 건물 기하학에서 가장 큰 개선을 보였다.
• IMPLICITY-mono는 단일 옥토-사진으로 잠재 코드를 생성하며, MAE를 0.3 m 감소시켜 약 1.6 m로, MedAE는 0.2 m 감소시켜 0.7 m로 개선했으며, 건물 윤곽선의 날카움과 지붕 세부 정보 복원에서 뚜렷한 향상이 있었다.
• IMPLICITY-stereo는 스테레오 영상 쌍을 사용하여 시각적 품질을 더욱 향상시켰으며, 다른 방법이 놓치는 도미너 같은 미세한 지붕 구조를 복원할 수 있었다.
• 모든 테스트 베이스라인 중에서 IMPLICITY-0(이미지 가이드 없음)가 가장 낮은 MAE와 MedAE를 기록했으며, IMPLICITY-mono와 IMPLICITY-stereo는 각각 RESDEPTH 및 PIFu 대비 전체 정확도에서 16–25% 향상되었다.
• 더 높은 추론 비용(약 km²당 9분)에도 불구하고, IMPLICITY-stereo는 유일하게 끊김 없이 작은 복잡한 지붕 특징(예: 도미너)을 복원할 수 있었으며, 뛰어난 시각적 충실도를 입증했다.