[論文レビュー] Nostalgin: Extracting 3D City Models from Historical Image Data

Amol Kapoor, Hunter Larco+1 more|arXiv (Cornell University)|May 6, 2019

Advanced Vision and Imaging参考文献 22被引用数 4

ひとこと要約

Nostalgin は、メタデータの欠落したスパarsな低品質な歴史的画像から3D都市モデルを再構築するディーブラーニングパイプラインである。セマンティックセグメンテーション、新規の画像正規化、および効率的なインpaintingを組み合わせることで、1ファサードあたり1枚の画像から、遮蔽や未知のカメラパラメータがあっても、写真的にリアルな3D再構築を可能にし、1940年代のマンハッタンの2街区を成功裏に再構築した。

ABSTRACT

What did it feel like to walk through a city from the past? In this work, we describe Nostalgin (Nostalgia Engine), a method that can faithfully reconstruct cities from historical images. Unlike existing work in city reconstruction, we focus on the task of reconstructing 3D cities from historical images. Working with historical image data is substantially more difficult, as there are significantly fewer buildings available and the details of the camera parameters which captured the images are unknown. Nostalgin can generate a city model even if there is only a single image per facade, regardless of viewpoint or occlusions. To achieve this, our novel architecture combines image segmentation, rectification, and inpainting. We motivate our design decisions with experimental analysis of individual components of our pipeline, and show that we can improve on baselines in both speed and visual realism. We demonstrate the efficacy of our pipeline by recreating two 1940s Manhattan city blocks. We aim to deploy Nostalgin as an open source platform where users can generate immersive historical experiences from their own photos.

研究の動機と目的

• スパarsで低品質、メタデータが乏しい歴史的画像から、自動的に3D都市を再構築することを可能にすること。
• カメラパラメータの欠落、遮蔽、画像密度の低さといった、歴史的画像データの課題を克服すること。
• 最小限の入力（1ファサードあたり1枚の画像）で動作するスケーラブルでモジュラーなパイプラインを構築すること。
• 個人またはアーカイブ写真から、没入型で歩行可能な3D歴史的環境を生成するためのプラットフォームを提供すること。
• 処理速度、視覚的リアリズム、画像のスパarsityおよび劣化に対する耐性の面で、既存手法を上回ること。

提案手法

• 歴史的画像からの建物ファサードのタイトなセマンティックセグメンテーションを実現するハイブリッドディープラーニングとアルゴリズム的手法。
• 未知のカメラパラメータと歴史的写真に見られる非一様な歪みを処理できる新規の画像正規化手法。
• 大規模で高解像度の画像に最適化された効率的なディープラーニングによる画像インpainting技術で、遮蔽や欠損したファサードの詳細を再構築可能。
• 幾何的制約と空間的推論を用いて、正規化およびインpaintされたファサード画像を一貫性のある3D都市レイアウトに配置する3Dモデリングシステム。
• アーカイブ画像コレクションから、都市街区全体をエンドツーエンドに再構築する分散処理パイプライン。
• インpainting品質とスケーラビリティを向上させるために、文脈的アテンションメカニズムとマルチスケール特徴抽出の統合。

実験結果

リサーチクエスチョン

• RQ1 未知のカメラパラメータや遮蔽がある状況でも、1ファサードあたり1枚の歴史的画像から3D都市モデルを再構築できるか？
• RQ2 劣化した品質とメタデータの欠落に起因する歴史的画像に対して、画像セグメンテーションと正規化をどのようにして耐性をもたせるか？
• RQ3 大規模な歴史的画像において、顕著な計算コストを増加させることなく、効率的かつ高精度な画像インpaintingを実現するためのアーキテクチャ的選択は何か？
• RQ4 完全自動パイプラインが、既存のベースラインと比較して視覚的リアリズムと再構築速度の面でどの程度優れているか？
• RQ5 得られた3Dモデルは、元の画像に存在しなかった動的視点をサポートする完全に歩行可能なインタラクティブな環境を実現できるか？

主な発見

• Nostalgin は、FreeFormインpaintingベースラインと比較して、ウォールタイムを90.7%削減、ヒープメモリ割り当てを79.6%削減し、優れたスケーラビリティを示した。
• フル解像度画像処理において、ヒープメモリ割り当てが27.8%削減され、ウォールタイムが54.7%削減された。これは、強力なメモリおよび実行時間効率を示している。
• ニューヨーク市アーカイブズのアーカイブ画像のみを用いて、地理的タグやEXIFデータなしに、1940年代のマンハッタンの2街区を成功裏に再構築した。
• 3D再構築は完全に歩行可能であり、元の画像に存在しなかった動的視点をサポートしており、モデルの幾何的整合性を確認した。
• 現代のGoogleストリートビューアイテムとの定性的比較により、Nostalgin は、すでに取り壊されたか、大幅に変更された建物を正確に再現していることが示された。
• 文脈的アテンションとマルチスケール特徴の組み合わせにより、$l1$ および $l2$ ロスのわずかな増加でインpainting品質が向上し、高い視覚的忠実度を達成した。