[論文レビュー] Sparse Depth Sensing for Resource-Constrained Robots

Fangchang Ma, Luca Carlone+2 more|arXiv (Cornell University)|Mar 4, 2017

Robotics and Sensor-Based Localization被引用数 7

ひとこと要約

本稿では、構造的な人為的環境における2次微分のスパarsityを活用することで、極めてスパースな深度測定値から密度の高い2次元および3次元深度プロファイルを再構成する凸最適化フレームワークを提案する。本手法は、100×100の深度マップに対して最小40測定値で高精度な再構成を達成し、補間法を上回り、スーパーレゾリューションおよび圧縮センシングの応用を可能にする。

ABSTRACT

We consider the case in which a robot has to navigate in an unknown environment but does not have enough on-board power or payload to carry a traditional depth sensor (e.g., a 3D lidar) and thus can only acquire a few (point-wise) depth measurements. We address the following question: is it possible to reconstruct the geometry of an unknown environment using sparse and incomplete depth measurements? Reconstruction from incomplete data is not possible in general, but when the robot operates in man-made environments, the depth exhibits some regularity (e.g., many planar surfaces with only a few edges); we leverage this regularity to infer depth from a small number of measurements. Our first contribution is a formulation of the depth reconstruction problem that bridges robot perception with the compressive sensing literature in signal processing. The second contribution includes a set of formal results that ascertain the exactness and stability of the depth reconstruction in 2D and 3D problems, and completely characterize the geometry of the profiles that we can reconstruct. Our third contribution is a set of practical algorithms for depth reconstruction: our formulation directly translates into algorithms for depth estimation based on convex programming. In real-world problems, these convex programs are very large and general-purpose solvers are relatively slow. For this reason, we discuss ad-hoc solvers that enable fast depth reconstruction in real problems. The last contribution is an extensive experimental evaluation in 2D and 3D problems, including Monte Carlo runs on simulated instances and testing on multiple real datasets. Empirical results confirm that the proposed approach ensures accurate depth reconstruction, outperforms interpolation-based strategies, and performs well even when the assumption of structured environment is violated.

研究の動機と目的

• 標準的な3次元LiDARや高解像度深度センサを搭載できないリソース制約下のロボットにおける深度再構成の課題に対処すること。
• 未知の環境の正確な幾何学的再構成を、わずかな（点単位の）深度測定値のみを用いて実現すること。
• 建物など人為的環境の構造的規則性（平面的表面やスパarsなエッジなど）を活用し、不完全なデータから再構成を可能にすること。
• 理論的裏付けがあり、スケーラブルかつ実用的なアルゴリズムパイプラインを、小型ロボットにおけるリアルタイム深度再構成に適用すること。
• 3次元マッピング、深度圧縮、スーパーレゾリューション画像処理など、多様なタスクへの適用可能性を実証すること。

提案手法

• 深度再構成を、深度プロファイルの2次微分のℓ₁ノルムを最小化するスパース最適化問題として定式化し、エッジが少ないピecewise平面的構造を促進する。
• NP困難なスパース回復問題を、データ整合性を保証するためのℓ∞ノルム制約を伴う凸なℓ₁最小化問題に緩和する。
• 大規模な深度プロファイル向けに収束を高速化するため、1次最適化手法、特にNesterovのアルゴリズム（NESTA）を適応して用いる。
• RGBエッジ検出を活用してサンプリングと再構成をガイドし、生の深度データではなくエッジベースの測定値から再構成を可能にする。
• 低解像度深度マップを高解像度の真値のスパース測定値とみなすことで、スーパーレゾリューション画像処理に本フレームワークを適用する。
• 問題の構造を活用し、特化したソルバを設計することで、大規模な深度プロファイルにおけるリアルタイム性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 未知の構造的環境において、非常に少ない数の深度測定値から密度の高い深度プロファイルを正確に再構成できるか？
• RQ2 スパースなサンプリング下で、深度プロファイルの正確または安定した回復を保証する理論的条件は何か？
• RQ3 ノイズと測定のスパarsityが存在する状況下で、本手法は補間ベースの手法と比較してどのように性能を発揮するか？
• RQ4 本再構成フレームワークをスーパーレゾリューション深度画像処理および圧縮された深度伝送に拡張可能か？
• RQ5 RGBから得られるエッジを、データ転送量を削減しながら再構成品質を維持するための深度測定値の代理として、どの程度活用できるか？

主な発見

• 提案手法は、100×100の深度プロファイルをわずか40個の深度測定値からも高精度に再構成でき、超スパースセンシングの実現可能性を示している。
• ℓ₁対角（L1diag）定式化は、すべてのデータセット（ノイズのあるZEDステレオデータを含む）でベースライン補間手法を一貫して上回っている。
• ZEDカメラ由来のセンサノイズによって真値深度が汚染されても、スパarsity制約によるノイズフィルタリングにより、本手法はより優れた再構成品質を達成している。
• RGBエッジのみからの再構成は顕著なデータレート削減を実現しながらも、競争力ある精度を維持しており、帯域制限のあるシステムにおける効率的伝送を可能にする。
• 本手法はスーパーレゾリューション深度画像処理を可能にし、72×103の深度マップを359×512に滑らかで現実的な結果とともにスケーリングして成功している。
• 理論的分析により、正確な回復のための条件が確立され、2次元および3次元問題における測定ノイズ下での安定性が確認されている。