[論文レビュー] Semantic Feature Matching for Robust Mapping in Agriculture

Mohamad Qadri, George Kantor|arXiv (Cornell University)|Jul 9, 2021

Robotics and Sensor-Based Localization参考文献 25被引用数 4

ひとこと要約

本論文は、農業ロボットを対象としたオブジェクトレベルのSLAMシステムを提案する。このシステムは、畝状に整列した農場環境の特徴を活用し、深層学習に基づくソルゴー種子の検出とセグメンテーションを意味的ランドマークとして用いる。種子の位置をグラフのノードとしてモデル化し、連続フレーム間の水平移動制約を活用することで、低テクスチャで繰り返しの多い農業環境において、従来のビジュアルSLAM（例：ORB-SLAM2）を著しく上回る平均78%のマッピングカバレッジを達成した。

ABSTRACT

Visual Simultaneous Localization and Mapping (SLAM) systems are an essential component in agricultural robotics that enable autonomous navigation and the construction of accurate 3D maps of agricultural fields. However, lack of texture, varying illumination conditions, and lack of structure in the environment pose a challenge for Visual-SLAM systems that rely on traditional feature extraction and matching algorithms such as ORB or SIFT. This paper proposes 1) an object-level feature association algorithm that enables the creation of 3D reconstructions robustly by taking advantage of the structure in robotic navigation in agricultural fields, and 2) An object-level SLAM system that utilizes recent advances in deep learning-based object detection and segmentation algorithms to detect and segment semantic objects in the environment used as landmarks for SLAM. We test our SLAM system on a stereo image dataset of a sorghum field. We show that our object-based feature association algorithm enables us to map 78% of a sorghum range on average. In contrast, with traditional visual features, we achieve an average mapped distance of 38%. We also compare our system against ORB-SLAM2, a state-of-the-art visual SLAM algorithm.

研究の動機と目的

• 低テクスチャで繰り返しの多い農業環境において、従来のビジュアルSLAMシステムが機能不能となる主な要因（特徴検出および一致の失敗）を解消すること。
• 農業ロボットの畝に沿ったナビゲーション構造を活用し、データアソシエーションのロバスト性を向上させること。
• 従来のビジュアル特徴ではなく、意味的オブジェクト（ソルゴー種子）をランドマークとして用いるオブジェクトレベルのSLAMシステムを開発すること。
• 低照度、風による振動、低フレームレート（5Hz）といった困難な条件下でも正確な3D再構築を可能にすること。
• これらの制約下で、ORB-SLAM2などの最先端のビジュアルSLAMシステムを上回るマッピング性能を達成すること。

提案手法

• ステレオ画像内における個々のソルゴー種子を、深層学習に基づくインスタンスセグメンテーションモデルを用いて検出・分離する。
• 検出された各種子を、ノード位置が2次元画像座標となるグラフのノードとして表現する。
• フレーム間のノード間距離が概ね一定に保たれるように幾何的整合性を強制する。
• フレーム間の運動を主に水平方向の並進とモデル化し、これにより誤検出マッチのフィルタリングとデータアソシエーションの改善を図る。
• 空間的および運動的制約に基づく割当コストを最小化するようにハンガリアン法を用いてデータアソシエーション問題を解く。
• インertialセンサに依存せずに、ステレオ画像からのビジョウス・オドメトリと意味的ランドマークを用いて3Dマップを構築する。

実験結果

リサーチクエスチョン

• RQ1 意味的オブジェクト検出およびセグメンテーションは、農業環境向けビジュアルSLAMにおけるデータアソシエーションのロバスト性を向上させ得るか？
• RQ2 農業ロボットの畝に沿ったナビゲーション構造を活用することで、低テクスチャで繰り返しの多いフィールドにおけるSLAM性能はどのように向上するか？
• RQ3 低フレームレートおよび低テクスチャの条件下で、オブジェクトレベルのSLAMは、従来の特徴ベースのSLAM（例：ORB-SLAM2）をどの程度上回るマッピング精度を達成できるか？
• RQ4 連続フレーム間の水平移動制約を用いることで、特徴マッチングにおける誤検出マッチの数を削減できるか？
• RQ5 同様の構造的レイアウトを示す多様な作物種別において、提案手法は大規模3D再構築に対してどの程度スケーラブルか？

主な発見

• 提案手法は、8つのソルゴー畑の走行範囲で平均して全距離の78%をマッピングしたのに対し、従来の特徴ベース手法では38%にとどまった。
• 8つのテスト走行範囲において、3つの範囲を完全にマッピングに成功し、残りの5つの範囲では平均65%のカバレッジを達成した。
• ORB-SLAM2は、いかなる範囲でも0.35メートルを超えてマッピングできず、低テクスチャ環境下での特徴一致の悪さに起因する深刻な不安定性が示された。
• SIFTが次に優れた伝統的手法であることを考えると、SIFT, SURF, ORB, AKAZEに比べ、提案手法は最大マッピング距離において優れた性能を示した。
• 1つの範囲では5.03メートル、別の範囲では4.43メートルを完全にマッピングに成功し、長距離走行時でも高いロバスト性を示した。
• 意味的ランドマークと幾何的制約の活用により、困難な視覚的条件下でも誤マッチの数が顕著に減少し、データアソシエーションの信頼性が向上した。