[論文レビュー] Coupling of localization and depth data for mapping using Intel RealSense T265 and D435i cameras

Evgeny Tsykunov, Valery Ilin+3 more|arXiv (Cornell University)|Apr 1, 2020

Robotics and Sensor-Based Localization参考文献 5被引用数 11

ひとこと要約

本稿では、ローカライゼーションにIntel RealSense T265（200 Hz）と深度測定にD435i（30 Hz）を用いた、低コストでリアルタイムな3D占有マッピングシステムを提案する。200 Hzのポーズデータと30 Hzの深度フレームを、マルチスレッドによるオブザーバーパattersでタイムスタンプ同期し、T265が得た初期変換を用いてICP（点対点および点対平面）による点群の整合化を行い、Octomap表現を構築することで、真値を必要とせずに正確でグローバルに一貫性のある3Dマップを実現した。

ABSTRACT

We propose to couple two types of Intel RealSense sensors (tracking T265 and depth D435i) in order to obtain localization and 3D occupancy map of the indoor environment. We implemented a python-based observer pattern with multi-threaded approach for camera data synchronization. We compared different point cloud (PC) alignment methods (using transformations obtained from tracking camera and from ICP family methods). Tracking camera and PC alignment allow us to generate a set of transformations between frames. Based on these transformations we obtained different trajectories and provided their analysis. Finally, having poses for all frames, we combined depth data. Firstly we obtained a joint PC representing the whole scene. Then we used Octomap representation to build a map.

研究の動機と目的

• 低コストのIntel RealSenseセンサーを用いて、屋内環境におけるリアルタイム3D占有マッピングを可能にすること。
• 200 Hzの高レートポーズデータ（T265）と30 Hzの低レート深度データ（D435i）という非同期な2つの異なるセンサーのデータ統合の課題に対処すること。
• T265トラッキングカメラが得た相対的変換を用いて、D435iの深度点群を統合的に整合化することで、グローバルに一貫性のある3D点群および占有マップを生成すること。
• ICPベースの点群整合化手法（点対点および点対平面）の軌道推定とマップ精度に関する評価と比較を行うこと。
• ROS依存を回避し、Open3D、Octomap、Pythonベースのライブラリを用いてクロスプラットフォーム展開を可能にするシステムを実装すること。

提案手法

• タイムスタンプベースの照合を用いて、200 HzのT265ポーズデータと30 HzのD435i深度フレームを、マルチスレッド処理によるPythonベースのオブザーバーパattersで同期化した。
• 固定されたオフセットが既知の剛体結合されたセンサーセットを用いて、T265とD435i間の相互変換 ${}^{T}T_{D}$ を計算した。
• T265が推定したポーズ ${}^{W}T_{T}$ を用いて、D435iのワールドポーズ ${}^{W}T_{D} = {}^{W}T_{T} imes {}^{T}T_{D}$ を計算し、深度点群を共通のワールドフレームに変換した。
• T265が得た変換を初期化として用い、点対点および点対平面の両方のICP法を適用して点群の整合化を実施した。
• Open3Dを用いて、変換行列 ${}^{D1}T_{D2}$ を用いて点群を反復的に統合し、グローバルな点群表現を構築した。
• Octomapを用いて3D占有マップを構築し、pygletを用いてボクセルベースのカラーレンダリングによる可視化を実現。ROS依存を回避した。

実験結果

リサーチクエスチョン

• RQ1 T265の200 Hzのビジュアルインertシャルトラッキングデータと、D435iの30 Hzの深度データをどれほど効果的に同期させれば、一貫性のある3Dマッピングが可能になるか？
• RQ2 T265ポーズデータを初期化として用いた場合、点対点と点対平面のどちらのICPバリアントが、より正確で安定した軌道推定を達成できるか？
• RQ3 リアルタイム性能とマップ精度の両立を考慮した場合、ICPパラメータ（例：最大対応距離、サンプリングレート）の最適な組み合わせは何か？
• RQ4 真値やSLAMのループクロージャーを一切使用せずに、グローバルに一貫性のある3D点群および占有マップを信頼性高く再構築できるか？
• RQ5 深度点群のデシメーション処理が、最終的なマップ品質および計算効率にどのように影響を与えるか？

主な発見

• ICPの点対点法は、T265トラッキング軌道と比較してx軸方向の相対的偏差が低く、より高い整合性の安定性を示した。
• 最大対応距離を0.05メートルに設定し、T265初期化を用いたICP処理が、精度と計算効率の両面で最良のバランスを達成した。
• サンプリング係数4のデシメーションフィルタを適用することで、実行時間を短縮しつつ、マップ品質や軌道精度に顕著な劣化を引き起こさなかった。
• Open3DとT265ベースの変換を用いて再構築されたグローバル点群は、実世界のシーン幾何形状を正確に反映していた。
• Octomapは、統合データから安定した3D占有マップを生成でき、pygletベースのボクセル可視化により、床から天井までの明確なカラーレンダリング空間表現が可能になった。
• 本システムは、異なるフレーム間隔（0.5秒、1秒、2秒）においてもリアルタイム性能と頑健性を維持し、一貫性のある整合化とマッピング結果を達成した。