[論文レビュー] DENSER Cities: A System for Dense Efficient Reconstructions of Cities

Michael Tanner, Pedro Piniés+2 more|arXiv (Cornell University)|Apr 13, 2016

Advanced Vision and Imaging参考文献 24被引用数 3

ひとこと要約

本稿では、ステレオカメラと正則化ハッシュボクセルグリッド（HVG）を用いた、リアルタイムで高密度かつ高精度な都市規模3D再構築を実現するDENSER Citiesを提案する。圧縮された体積データに異方的拡散正則化を適用することで、KITTIデータセットの3.4 km分のシーケンスにおいて中央値再構築誤差を40％（6 cm）低減した。高精細なモデルを最小限のアーチファクトで、ほぼリアルタイムの性能を達成した。

ABSTRACT

This paper is about the efficient generation of dense, colored models of city-scale environments from range data and in particular, stereo cameras. Better maps make for better understanding; better understanding leads to better robots, but this comes at a cost. The computational and memory requirements of large dense models can be prohibitive. We provide the theory and the system needed to create city-scale dense reconstructions. To do so, we apply a regularizer over a compressed 3D data structure while dealing with the complex boundary conditions this induces during the data-fusion stage. We show that only with these considerations can we swiftly create neat, large, "well behaved" reconstructions. We evaluate our system using the KITTI dataset and provide statistics for the metric errors in all surfaces created compared to those measured with 3D laser. Our regularizer reduces the median error by 40% in 3.4 km of dense reconstructions with a median accuracy of 6 cm. For subjective analysis, we provide a qualitative review of 6.1 km of our dense reconstructions in an attached video. These are the largest dense reconstructions from a single passive camera we are aware of in the literature.

研究の動機と目的

• 被動ステレオビジョンを用いて、スケーラブルで高密度かつ高精度な都市規模環境の3D再構築を実現すること。
• 大規模な都市シーンにおける高密度3D再構築の計算およびメモリ制限を克服すること。
• ハッシュボクセルグリッド（HVG）のような圧縮され、境界が豊富な3次元データ構造内でも効果的に機能する正則化手法を開発すること。
• 鋭い不連続性や照明変化によって引き起こされる深度マップのノイズおよび誤った表面を低減すること。
• 自動運転などのアプリケーションにおいて、高幾何的精度を維持しながらも、リアルタイムのパフォーマンスを達成すること。

提案手法

• 2次正則化エネルギー項を用いた変分的オプティカルフローにインspiredされた手法により、ステレオカメラを用いてピクセル単位の深度マップを生成し、サブピクセル精度とピecewise平面的深度マップを実現する。
• 照明条件の変化に耐性を持つ、強固な3値セラスシグネチャ（TCS）忠実度項を採用して深度推定を実施する。
• 異方的拡散テンソルを正則化に適用し、物体エッジに垂直な勾配をペナルティ化することで深度不連続性を保持するとともに、エッジに沿った滑らかさを許容する。
• ハッシュボクセルグリッド（HVG）を用いて3次元体積データを圧縮し、限られたGPUメモリ内で大規模な再構築を可能にする。
• HVG構造によって生じる境界条件に対応するため、勾配および発散作用素を再定義し、誤った外挿を避けることで正確な正則化を実現する。
• データ統合を段階的に実行し、正則化を統合段階で適用することで、ノイズおよび誤った表面を抑制する。

実験結果

リサーチクエスチョン

• RQ1 ステレオカメラのみを用いて、都市規模の環境に対して高精度かつスケーラブルな高密度リアルタイム3D再構築システムを実現できるか？
• RQ2 複雑な境界条件が生じるハッシュボクセルグリッドのような圧縮された3次元データ構造内でも、効果的な正則化をどのように適用できるか？
• RQ3 異方的拡散が、不連続性を保持しながらノイズを低減することで、どの程度深度マップの品質を向上させられるか？
• RQ4 正則化が、大規模な再構築における誤った表面の低減および幾何的精度の向上に、どの程度の影響を及ぼすか？
• RQ5 スケールに応じて、10 cm未満の中央値再構築誤差を達成しながらも、ほぼリアルタイムのパフォーマンスを維持できるか？

主な発見

• 正則化により、KITTIデータセットの3.4 km分のシーケンスにおいて中央値再構築誤差が40％低減され、10 cmから6 cmに減少した。
• 75百分位誤差は36％低減され、36 cmから23 cmに減少し、外れ値およびノイズの処理における顕著な改善が確認された。
• 表面積は32％低減され、55,008 m²から37,336 m²に減少し、誤ったまたは不審な表面の有効な抑制が確認された。
• HVG構造により、6 GiBのGPUメモリで1.6 kmの都市環境を再構築可能となった。これは、レガシーボクセルグリッドでは205 mまでしか再構築できなかったことと対照的である。
• ほぼリアルタイムの統合パフォーマンスを達成し、GeForce GTX TITANを用いて10 cmボクセル解像度で3.4 kmを10分未満で処理した。
• 視覚的検査により、最小限のアーチファクトで高品質で視覚的に一貫性のある再構築が確認されたが、低テクスチャまたは照明変化が激しい領域では穴が残存した。