[論文レビュー] Automatic Mapping with Obstacle Identification for Indoor Human Mobility Assessment

V. Ayala-Alfaro, J. A. Vilchis-Mar+2 more|arXiv (Cornell University)|Nov 24, 2021

Robotics and Sensor-Based Localization参考文献 6被引用数 4

ひとこと要約

本稿では、モノクローラルSLAMとYOLOを組み合わせたフレームワークを提示しており、マイクロUAVが屋内環境を自動的にマッピングしながら、家具などの移動障害物を特定・局所化することを可能にしている。ORBSLAM2を慣性データと統合し、検出されたボリュームを精緻化することで、アクセスビリティ上の危険要因を強調するメトリックな3次元マップが生成され、TelloおよびBebop 2ドローンを用いたテストで誤検出率が98%低下した。

ABSTRACT

We propose a framework that allows a mobile robot to build a map of an indoor scenario, identifying and highlighting objects that may be considered a hindrance to people with limited mobility. The map is built by combining recent developments in monocular SLAM with information from inertial sensors of the robot platform, resulting in a metric point cloud that can be further processed to obtain a mesh. The images from the monocular camera are simultaneously analyzed with an object recognition neural network, tuned to detect a particular class of targets. This information is then processed and incorporated on the metric map, resulting in a detailed survey of the locations and bounding volumes of the objects of interest. The result can be used to inform policy makers and users with limited mobility of the hazards present in a particular indoor location. Our initial tests were performed using a micro-UAV and will be extended to other robotic platforms.

研究の動機と目的

• ロボットセンシングを用いて、移動に制限のある人々のための屋内アクセシビリティ評価を自動化すること。
• 物理的障害物を屋内公共空間で検出し、局所化するための低コストでスケーラブルなソリューションを開発すること。
• モノクローラルビジョンと慣性センサのみを用いて、移動障害の原因となる障害物を強調するメトリックな3次元マップを生成すること。
• 段階的な精緻化プロセスにより、誤検出を低減することでアクセシビリティ評価を向上させること。
• 政策立案者や設計者に、インクルーシブな公共空間計画のためのデータドリブンな知見を提供すること。

提案手法

• 本システムは、モノクローラルカメラとIMUを搭載したマイクロUAVを用い、リアルタイムで動画およびオドメトリデータを収集する。
• ORBSLAM2を改変し、慣性測定を統合することで、モノクローラル動画からスケール認識可能なメトリックな点群を生成する。
• YOLOv3を微調整し、16の障害物関連クラス（例：家具、設備）を検出し、各フレームで2次元のバウンディングボックスを出力する。
• 複数段階の精緻化パイプラインにより、検出されたボリュームを処理する：(1) 間違いの検出の削除、(2) フレーム間での類似物体の統合、(3) 間違った分類のフィルタリング。
• 最終出力は、ラベル付きの障害物位置とボリュームを備えた3次元アクセシビリティマップであり、リアルタイムで可視化される。
• フレームワークは、2台のドローン（TelloおよびBebop 2）を用いて検証され、検出の重複を低減および統合するための後処理が施された。

実験結果

リサーチクエスチョン

• RQ1 モノクローラルカメラと慣性センサは、アクセシビリティ分析に適した屋内環境のメトリックな3次元マップを生成できるか？
• RQ2 YOLOベースの物体検出は、移動中のUAVプラットフォームからリアルタイムで移動に関連する障害物を同定できるか、その程度はいかほどか？
• RQ3 複数段階の精緻化プロセスは、誤検出の低減および同一物体の重複検出の統合にどの程度効果的か？
• RQ4 ハードウェアの品質（例：画像の安定性、解像度）は、障害物検出およびマップ生成の精度にどのように影響するか？
• RQ5 このシステムは、実世界の屋内環境において、自動アクセシビリティ評価を信頼性を持って支援できるか？

主な発見

• Telloドローンのテストでは、完全な精緻化後、検出された物体数が1,937から26に減少し、誤検出または重複検出が98.6%削減された。
• Bebop 2ドローンはより安定した動画を提供し、初期検出数（1,354）が少なく、Telloよりも優れた統合性能を示した。
• 段階2（物体統合）が物体数の削減に最も寄与し、Telloでは34から26、Bebop 2では28から16に減少した。
• 精緻化パイプラインはノイズと誤分類を効果的に低減し、段階3で残存する誤検出をフィルタリングした。
• ハードウェアの制限にもかかわらず、複数回のフライトにおいて一貫したアクセシビリティマップが生成され、Bebop 2プラットフォームでは視覚的一致性が向上した。
• 結果から、より洗練された物体検出モデルを用いることで、実世界への展開に向けたマップの正確性と信頼性をさらに向上できる可能性が示唆された。