[論文レビュー] EMPNet: Neural Localisation and Mapping Using Embedded Memory Points

Gil Avraham, Yan Zuo+2 more|arXiv (Cornell University)|Jul 31, 2019

Robotics and Sensor-Based Localization参考文献 45被引用数 6

ひとこと要約

EMPNetは、埋め込みポイントを用いた同時位置特定とマッピングのためのエンド・ツー・エンドで学習可能なニューラルネットワークを提案する。RGB-Dシーケンスからの3次元ポイント埋め込みが、密な対応マッピングにより一致され、再帰的かつ空間的に整合性のあるメモリを形成する。本手法は、合成データ（VIZDoom）および実世界データ（Active Vision Dataset）の両方のベンチマークで最先端の性能を達成し、先行手法と比較して平均位置誤差を30%以上低減した。

ABSTRACT

Continuously estimating an agent's state space and a representation of its surroundings has proven vital towards full autonomy. A shared common ground among systems which successfully achieve this feat is the integration of previously encountered observations into the current state being estimated. This necessitates the use of a memory module for incorporating previously visited states whilst simultaneously offering an internal representation of the observed environment. In this work we develop a memory module which contains rigidly aligned point-embeddings that represent a coherent scene structure acquired from an RGB-D sequence of observations. The point-embeddings are extracted using modern convolutional neural network architectures, and alignment is performed by computing a dense correspondence matrix between a new observation and the current embeddings residing in the memory module. The whole framework is end-to-end trainable, resulting in a recurrent joint optimisation of the point-embeddings contained in the memory. This process amplifies the shared information across states, providing increased robustness and accuracy. We show significant improvement of our method across a set of experiments performed on the synthetic VIZDoom environment and a real world Active Vision Dataset.

研究の動機と目的

• 過去の観測を統合することで、共通で整合性のあるメモリ表現に統合された連続的空間認識を実現するニューラルフレームワークの開発。
• RGB-Dデータを用いて、動的で現実世界の環境においてもロバストなローカライゼーションとシーン表現を実現する挑戦への対処。
• シーケンス全体にわたるポイント埋め込みの共同最適化により、長時間にわたるナビゲーションにおける一般化性と正確性の向上。
• 学習された埋め込みを通じた幾何的整合性を活用することで、視覚的ローカライゼーションにおける誤差蓄積の低減。
• 観測間で構造的整合性を維持するメモリアugmentedシステムのエンド・ツー・エンド学習の実現。

提案手法

• 本手法は、RGB-D観測から得られる3次元ポイント埋め込みを格納する短期的空間的メモリモジュール（SSMM）を用いる。各ポイントは学習された埋め込みベクトルに関連付けられる。
• ポイント埋め込みは畳み込みニューラルネットワーク（CNN）を用いて抽出され、深度ポイントに投影され、シーンの密な構造的表現が形成される。
• 交差エントロピー最適化を用いて、新しい観測と格納済み埋め込みとの間で密な対応マトリクスが計算され、相対姿勢推定が可能になる。
• SSMM内の埋め込みの再帰的共同最適化が行われ、共有情報により構造的整合性とロバスト性が向上する。
• フレームワークはエンド・ツー・エンドで学習され、微分可能な対応マッピングを介して、姿勢推定と埋め込みの最適化が同時に最適化される。
• 実世界のノイズの多いデータに対するロバスト性向上のため、姿勢監視による正則化（EMP-Net-Pose）が適用される。

実験結果

リサーチクエスチョン

• RQ1 微分可能でメモリアugmentedアーキテクチャを用いたニューラルネットワークが、同時にローカライゼーションとマッピングを最適化できるか。
• RQ2 学習されたポイント埋め込みが、RGB-D観測の長時間シーケンスにわたってどの程度構造的整合性を維持できるか。
• RQ3 固定または最適化されていない表現と比較して、埋め込みのエンド・ツー・エンド学習が、ローカライゼーションの正確性をどの程度向上させるか。
• RQ4 本手法が、実世界環境における長時間シーケンスや挑戦的なベースラインにどの程度一般化できるか。
• RQ5 複雑でテクスチャが乏しいシーンにおいて、埋め込み間の密な対応マッピングが、スパarsityまたは幾何的のみの手法を上回る効果を発揮するか。

主な発見

• Active Vision Datasetでは、EMP-Netが50フレームのシーケンスにおいて平均位置誤差（APE）を1150 mmに低減し、ORB-SLAM2（3090 mm）、DeepVO（1690 mm）、MapNet（1680 mm）、ENG（1582 mm）を上回った。
• 姿勢正則化を施したEMP-Net-Poseは、50フレームのシーケンスでAPEが1150 mm、平均トレース誤差（ATE）が360 mmに達し、次善のベースライン（MapNet、ATE 601 mm）を著しく上回った。
• VIZDoomの合成環境では、カメラの基準基準が拡大するにつれてEMP-Netが優れた性能を示し、誤差が低く、対応マッピングの信頼性が高かった。
• SSMM内の学習済み埋め込みは、明示的な教師なし条件下でも、空間的および意味的クラスタリングの混合を示しており、k-meansクラスタリングによる埋め込みベクトルの分析で確認された。
• 信頼度ヒートマップでは、識別可能なランドマーク（例：階段、ドアウェイ）に対して高い信頼度を、低テクスチャ領域（例：壁、床）に対しては低い信頼度を割り当てることがわかった。
• 本手法は、カメラの基準基準が拡大しても高い性能を維持した。これは、大規模な視点変化に対してもロバストであることを示している。