[論文レビュー] TorontoCity: Seeing the World with a Million Eyes

Shenlong Wang, Min Bai+8 more|arXiv (Cornell University)|Dec 1, 2016

Automated Road and Building Extraction参考文献 26被引用数 19

ひとこと要約

TorontoCityは、空中、ドローン、地上レベルの画像を含む712.5 km²にわたるトロントをカバーする大規模かつマルチビューのベンチマークを導入した。高精度マップを活用して、建物のインスタンスセグメンテーション、道路中心線抽出、セマンティックラベル付けなどのタスクに多様で正確なアノテーションを生成した。その結果、セマンティックセグメンテーションでは優れた性能を示すが、インスタンスレベルおよび幾何的タスクでは、最先端のCNNモデルですら依然として課題を抱えていることが明らかになった。

ABSTRACT

In this paper we introduce the TorontoCity benchmark, which covers the full greater Toronto area (GTA) with 712.5 $km^2$ of land, 8439 $km$ of road and around 400,000 buildings. Our benchmark provides different perspectives of the world captured from airplanes, drones and cars driving around the city. Manually labeling such a large scale dataset is infeasible. Instead, we propose to utilize different sources of high-precision maps to create our ground truth. Towards this goal, we develop algorithms that allow us to align all data sources with the maps while requiring minimal human supervision. We have designed a wide variety of tasks including building height estimation (reconstruction), road centerline and curb extraction, building instance segmentation, building contour extraction (reorganization), semantic labeling and scene type classification (recognition). Our pilot study shows that most of these tasks are still difficult for modern convolutional neural networks.

研究の動機と目的

• 幾何学、グループ化、セマンティクスを統合した大規模かつマルチビューの都市ベンチマークの不足を解消すること。
• 大規模都市データセットにおける手作業によるラベリングの非現実性を克服するため、高精度マップを真値の代理として活用すること。
• 建物のインスタンスセグメンテーション、輪郭抽出、高さ推定といった挑戦的な都市認識タスクの研究を可能にすること。
• 空中、ドローン、車両搭載センサーなどの多様な視点をカバーするスケーラブルなマルチセンサー基盤を提供し、モデルの評価を多様な視点で行えるようにすること。
• ファサード解析、木の検出、交通標識認識を含む、将来的な都市AIタスクの基盤を構築すること。

提案手法

• 3次元建物モデルや不動産メタデータを含む高精度都市マップを活用し、最小限の人的監視で真値アノテーションを生成した。
• 空中、ドローン、地上レベルの画像（例：パノラマ、ステレオ、LIDAR）をマップベースの基準座標系に登録するためのアライメントアルゴリズムを開発した。
• マーキング操作（収縮、拡張、クロージング）を用いて、セマンティックおよびインスタンスセグメンテーションの出力を精緻化し、境界の正確性を向上させた。
• Ramer-Douglas-Peuckerアルゴリズムを適用して、検出されたインスタンスからの建物の輪郭を簡略化し、ポリゴンの複雑さを低減した。
• ImageNetで微調整されたか、またはスクラッチから訓練された深層学習モデル（ResNet、VGG、GoogleNetなど）を用いて、セマンティックラベリングやシーン分類などのタスクを解決した。
• 地上視点の道路セグメンテーションの評価に、トップダウンIoUおよびピクセル正確度という指標を用い、ほぼ完璧なスコアを達成した。

実験結果

リサーチクエスチョン

• RQ1 高精度都市マップを用いて、大規模都市認識タスクのための正確でスケーラブルな真値を効果的に生成できるか？
• RQ2 現在の深層学習モデルは、空中、地上、LIDARといった多様な都市センシングモダリティの間でどの程度一般化できるか？
• RQ3 最先端のCNNは、建物のインスタンスセグメンテーションや輪郭抽出といったインスタンスレベルおよび幾何的タスクでどの程度の性能を示すか？
• RQ4 セマンティックセグメンテーションと、建物高さ推定や道路中心線抽出といったより複雑なタスクとの間には、どの程度の性能ギャップがあるか？
• RQ5 パノラマストリートビューのデータを用いて、高解像度で正確な都市マップを自動生成できるか？

主な発見

• セマンティックセグメンテーションおよびシーン分類は高い性能を示した（例：事前学習済み重みを用いたResNet-152）。これは粗いレベルのタスクにおいて強い一般化能力を示している。
• 地上視点の道路セグメンテーションでは平均97.21%のIoUおよび98.64%のピクセル正確度を達成し、現在のモデルではこのタスクはほぼ解決されたと示唆された。
• 建物のインスタンスセグメンテーションおよび輪郭抽出は依然として困難であり、マーキングフィルタリングによる改善はあったが、現在のネットワークの根本的限界は解消されていない。
• 空中画像からの建物高さ推定は、いかなるネットワークでも解決されておらず、深層学習における顕著な未解決課題であることが示された。
• 道路中心線およびカーブ抽出は中程度の性能を示し、ResNetとマーキングフィルタリングが最良の結果を出したが、依然として完璧とは言えない。
• パイロットスタディの結果、セマンティックおよび認識タスクは実行可能である一方で、インスタンスレベルおよび幾何的推論タスクは依然としてほとんど解決されていないことが明らかになり、新たな手法の開発が不可欠であることが示された。