[論文レビュー] Deep Phase Correlation for End-to-End Heterogeneous Sensor Measurements Matching

Zexi Chen, Xuecheng Xu+2 more|arXiv (Cornell University)|Aug 21, 2020

Robotics and Sensor-Based Localization参考文献 16被引用数 7

ひとこと要約

本論文は、学習可能な特徴抽出パイプラインに微分可能位相相関を統合することで、LiDARと衛星画像などの異種センサ測定値の正確で効率的なマッチングを可能にする、エンドツーエンド微分可能なフレームワーク、Deep Phase Correlation Network (DPCN) を提案する。この手法は、実時間推論とシーンおよび照明条件の変化に対して強い汎化性能を示しながら、4自由度のポーズ推定（並進、回転、スケール）で最先端の精度を達成する。

ABSTRACT

The crucial step for localization is to match the current observation to the map. When the two sensor modalities are significantly different, matching becomes challenging. In this paper, we present an end-to-end deep phase correlation network (DPCN) to match heterogeneous sensor measurements. In DPCN, the primary component is a differentiable correlation-based estimator that back-propagates the pose error to learnable feature extractors, which addresses the problem that there are no direct common features for supervision. Also, it eliminates the exhaustive evaluation in some previous methods, improving efficiency. With the interpretable modeling, the network is light-weighted and promising for better generalization. We evaluate the system on both the simulation data and Aero-Ground Dataset which consists of heterogeneous sensor images and aerial images acquired by satellites or aerial robots. The results show that our method is able to match the heterogeneous sensor measurements, outperforming the comparative traditional phase correlation and other learning-based methods. Code is available at https://github.com/jessychen1016/DPCN .

研究の動機と目的

• 従来の手法がモダリティの違いや共有特徴の欠如により失敗するLiDARと衛星画像などの異種センサ測定値のマッチングという課題に対処すること。
• 4次元類似変換空間（$\mathbb{SIM}(2)$）における全検索が計算的に非現実的であるため、ポーズ推定における全検索の必要性を排除すること。
• 位相相関を微分可能にすることで、ポーズ誤差のバックプロパゲーションが可能となり、特徴抽出器のエンドツーエンド学習を可能にすること。
• ブラックボックス回帰とは異なり、微分可能で解析的な相関パイプラインを用いることで、汎化性能と解釈可能性を向上させること。

提案手法

• 本手法は、離散フーリエ変換（DFT）、対数極座標変換（LPT）、微分可能相関（DC）層からなる微分可能位相相関パイプラインを採用し、すべての層をエンドツーエンド最適化可能なように訓練可能にしている。
• ポーズマッチング問題は、周波数領域における相互相関に基づく微分可能なスコア関数を用いて、予測ポーズと真値の差を最小化することで定式化される。
• ネットワークは、入力画像からのモダリティ固有の特徴を抽出するための2つのU-Netエンコーダーを用い、その後に、$\mathbb{SIM}(2)$ 内のすべての可能なポーズに対して全検索を伴わずに類似度を計算する微分可能な相関層を配置する。
• パイプライン全体が微分可能であるため、ポーズ誤差のバックプロパゲーションが可能となり、特徴抽出器と相関モジュールを同時に最適化できる。
• 本手法は、並進および回転に対して位相相関が保持する構造的不変性を活用し、学習ベースの特徴マッチングに適応している。
• 特徴表現の直接最適化を可能にするために、推定ポーズの誤差を最小化する損失関数を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 全検索を伴わず、異種画像マッチングのためのエンドツーエンド学習を可能にする微分可能位相相関モジュールを設計できるか？
• RQ2 異種センサデータで学習した学習可能な特徴抽出器は、多様なシーンや照明条件においてどれほど汎化できるか？
• RQ3 提案された微分可能相関フレームワークは、従来の位相相関および他の学習ベースの手法に比べ、4自由度ポーズ推定において精度と効率性で優れているか？
• RQ4 相関ベースのアプローチの解釈可能性は、ブラックボックス回帰ネットワークと比較して、どれほど汎化性能の向上に寄与するか？
• RQ5 本手法は、高精度を維持しながら、実時間性能を達成できるか？

主な発見

• l2satベンチマークでは、DPCNは1メートル以内の誤差で96.9%の並進精度を達成し、同じ閾値下でDAM（30.1%）やQATM（37.5%）を上回る。
• s2dベンチマークでは、DPCNは1メートル以内の並進誤差で91.3%の精度を達成し、同様の条件下でDAM（40.9%）やQATM（36.3%）を大きく上回る。
• l2satデータセットでは、1度以内の回転誤差で98.0%の精度を達成し、異種データにおける角度のずれに対しても高い耐性を示す。
• クロスシーンの汎化性能において、DPCNは（a）と（b）のシーンで学習した後、（c）のシーンに効果的に一般化し、照明やシーン構造の変化に対しても90%以上の精度を維持する。
• 1フレームあたり100ms未満の推論時間で実時間動作を実現し、モバイルロボットローカライゼーションシステムへの実用的導入が可能である。
• アブレーションスタディにより、微分可能な相関層が効果的なエンドツーエンド学習を可能にしていることが確認され、これを除去すると性能が著しく低下する。