[논문 리뷰] Nostalgin: Extracting 3D City Models from Historical Image Data

Amol Kapoor, Hunter Larco외 1명|arXiv (Cornell University)|2019. 05. 06.

Advanced Vision and Imaging참고 문헌 22인용 수 4

한 줄 요약

Nostalgin은 메타데이터가 부족한 흐린 역사적 이미지에서 3D 도시 모델을 복원하는 딥러닝 파이프라인이다. 의미적 세그멘테이션, 새로운 이미지 정규화, 효율적인 인painting 기법을 융합하여, 카메라 파라미터가 알려지지 않았거나 가림이 있는 경우에도 한 외벽당 단일 이미지로도 사실적으로 구현된 3D 복원을 가능하게 하며, 1940년대 뉴욕 맨해튼의 두 블록을 성공적으로 복원하였다.

ABSTRACT

What did it feel like to walk through a city from the past? In this work, we describe Nostalgin (Nostalgia Engine), a method that can faithfully reconstruct cities from historical images. Unlike existing work in city reconstruction, we focus on the task of reconstructing 3D cities from historical images. Working with historical image data is substantially more difficult, as there are significantly fewer buildings available and the details of the camera parameters which captured the images are unknown. Nostalgin can generate a city model even if there is only a single image per facade, regardless of viewpoint or occlusions. To achieve this, our novel architecture combines image segmentation, rectification, and inpainting. We motivate our design decisions with experimental analysis of individual components of our pipeline, and show that we can improve on baselines in both speed and visual realism. We demonstrate the efficacy of our pipeline by recreating two 1940s Manhattan city blocks. We aim to deploy Nostalgin as an open source platform where users can generate immersive historical experiences from their own photos.

연구 동기 및 목표

• 메타데이터가 부족한 흩어진 저품질의 역사적 이미지에서 자동으로 3D 도시 복원을 가능하게 하기 위해.
• 카메라 파라미터 누락, 가림, 낮은 이미지 밀도 등의 역사적 이미지 데이터 도전 과제를 극복하기 위해.
• 다중 시야나 수동 애너테이션 없이 최소한의 입력(외벽당 단일 이미지)으로도 작동하는 확장 가능하고 모듈화된 파이프라인 개발을 위해.
• 사용자가 개인 또는 보관된 사진으로 몰입감 있고 걷기 가능한 3D 역사적 환경을 생성할 수 있는 플랫폼을 만들기 위해.
• 기존 방법에 비해 처리 속도, 시각적 현실감, 이미지 희소성 및 열화에 대한 강건성 측면에서 향상된 성능을 확보하기 위해.

제안 방법

• 역사적 이미지에서 건물 외벽의 정밀 의미적 세그멘테이션을 위한 하이브리드 딥러닝 및 알고리즘 기반 접근 방식.
• 알 수 없는 카메라 파라미터와 역사적 사진의 비균일한 왜곡을 처리할 수 있는 새로운 이미지 정규화 기법.
• 대규모 고해상도 이미지에 최적화된 효율적인 딥러닝 기반 이미지 인페인팅 기법으로, 가려진 또는 손실된 외벽 세부 정보 복원을 가능하게 한다.
• 기하학적 제약 조건과 공간적 추론을 활용해 정규화 및 인페인팅된 외벽 이미지를 일관된 3D 도시 레이아웃에 배치하는 3D 모델링 시스템.
• 보존된 이미지 컬렉션에서 전체 도시 블록을 종단간 복원할 수 있도록 설계된 분산 처리 파이프라인.
• 인페인팅 품질 향상과 확장성 확보를 위해 맥락적 어텐션 메커니즘과 다중 해상도 특징 추출을 통합하였다.

실험 결과

연구 질문

• RQ1 알 수 없는 카메라 파라미터와 가림이 있는 상황에서도 외벽당 단일 역사적 이미지로 3D 도시 모델을 복원할 수 있는가?
• RQ2 어떻게 하면 역사적 이미지의 낮은 품질과 메타데이터 부족 문제에 강건한 세그멘테이션 및 정규화를 구현할 수 있는가?
• RQ3 어떤 아키텍처 선택이 큰 계산 비용 없이도 대규모 역사적 이미지에서 효율적이고 고정밀도의 이미지 인페인팅을 가능하게 하는가?
• RQ4 완전 자동화된 파이프라인이 기존 베이스라인 대비 시각적 현실감과 복원 속도 측면에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ5 생성된 3D 모델이 역사적 도시 레이아웃을 반영하는 완전히 걷기 가능한 상호작용 가능한 환경을 지원할 수 있는가?

주요 결과

• Nostalgin은 FreeForm 인페인팅 베이스라인 대비 벽 시간을 90.7% 감소시키고 힙 할당량을 79.6% 감소시켜 뛰어난 확장성 확보.
• 전체 해상도 이미지 처리 시 힙 할당량 27.8% 감소 및 벽 시간 54.7% 감소를 기록하여 강력한 메모리 및 런타임 효율성 입증.
• 뉴욕 시청 보관소의 보존 이미지만을 사용하여 1940년대 맨해튼의 두 블록을 성공적으로 복원하였으며, 지오태깅이나 EXIF 데이터 없이도 가능.
• 3D 복원 모델은 완전히 걷기 가능하며 원본 이미지에 존재하지 않는 동적 시점 조정도 지원하여 기하학적 일관성 확인.
• 현대의 구글 스트리트 뷰 이미지와의 정성적 비교에서 Nostalgin은 이미 철거되거나 크게 변경된 건물도 정확히 포착함.
• 맥락적 어텐션과 다중 해상도 특징의 조합은 $l1$ 및 $l2$ 손실의 약간 증가만으로도 인페인팅 품질을 향상시켜 높은 시각적 사실감을 입증함.