[論文レビュー] Learning 3D-3D Correspondences for One-shot Partial-to-partial Registration

Zheng Dang, Fei Wang+1 more|arXiv (Cornell University)|Jun 8, 2020

Robotics and Sensor-Based Localization参考文献 45被引用数 10

ひとこと要約

本論文は、外れ値用のバッチを備えた最適輸送層を用いて不完全な対応関係をモデル化することで、部分的対部分的3次元点群登録のための、初めてのワンショット学習ベースの手法OPRNetを提案する。ModelNet40において最先端の精度と耐障害性を達成し、PRNetのような反復的手法を上回るが、GPUメモリ使用量は6倍少ない。また、未学習カテゴリーや実世界データに対しても良好な一般化性能を示す。

ABSTRACT

While 3D-3D registration is traditionally tacked by optimization-based methods, recent work has shown that learning-based techniques could achieve faster and more robust results. In this context, however, only PRNet can handle the partial-to-partial registration scenario. Unfortunately, this is achieved at the cost of relying on an iterative procedure, with a complex network architecture. Here, we show that learning-based partial-to-partial registration can be achieved in a one-shot manner, jointly reducing network complexity and increasing registration accuracy. To this end, we propose an Optimal Transport layer able to account for occluded points thanks to the use of outlier bins. The resulting OPRNet framework outperforms the state of the art on standard benchmarks, demonstrating better robustness and generalization ability than existing techniques.

研究の動機と目的

• 現行の学習ベース手法が完全な点群の観測を仮定しているという制限を解消すること。これは現実世界のシナリオでは現実的ではない。
• 反復的最適化や複雑なトレーニング戦略を回避するワンショットでエンドツーエンドに学習可能な部分的対部分的3次元登録の深層学習フレームワークを構築すること。
• 推論時に遮蔽、ノイズ、未学習カテゴリの存在下でも耐障害性と一般化性能を向上させること。
• PRNetのような先行の最先端反復的手法が4台の32GB GPUを必要としているのと比較し、計算およびメモリのオーバーヘッドを低減すること。

提案手法

• 部分的対応関係をモデル化するために、外れ値用のバッチを備えた最適輸送（OT）層を導入し、入力点群の両方における遮蔽または欠落した点をネットワークが適切に扱えるようにする。
• DCPにおけるソフトマックスベースの対応ヘッドを、Sinkhornアルゴリズムを用いて微分可能でスパースな割り当て行列を計算するOT層に置き換えることで、1対1の対応関係を保証する。
• 特徴量の変換をSVDで行うのではなく、OT層の出力（割り当て行列）に対して直接的监督を適用することで、トレーニングの安定性と耐障害性を向上させる。
• 両方の入力点群の局所的およびグローバルな特徴表現を強化する目的で、DGCNNとTransformerを組み合わせた共有特徴抽出バックボーンを採用する。
• 学習済み類似度スコアに基づいて、点群間の輸送コスト行列を計算する微分可能なOT層を実装し、未マッチングな点は外れ値バッチが吸収する。
• 予測された対応行列に対する平均二乗誤差損失を用いて、エンドツーエンドでネットワークをトレーニングし、マッチングプロセスの直接最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化に依存しないワンショット学習ベース手法が、部分的対部分的3次元登録において最先端の性能を達成できるか？
• RQ2 外れ値用のバッチを用いることで、最適輸送は遮蔽された点を含む部分的対応関係をどのように適応的に処理できるか？
• RQ3 SVDによる変換の後に監視するのではなく、OT層の出力に対して直接監視することで、より優れた耐障害性が得られるか？
• RQ4 コンパクトなワンショットネットワークは、ファインチューニングなしに未学習カテゴリーや実世界データに対しても効果的に一般化できるか？

主な発見

• OPRNetは、未学習カテゴリーや高い欠損点率の条件下でも、ModelNet40ベンチマークにおいて先行の反復的手法PRNetを上回る性能を発揮する。
• 本手法は優れた耐障害性と一般化性能を示し、ファインチューニングや再トレーニングなしに実世界データに対しても良好に一般化する。
• PRNetが4台の32GB GPUを必要としているのに対し、OPRNetはトレーニング時のメモリ要件を約6倍削減しながらも、高い精度を維持する。
• アブレーションスタディの結果、OT層の出力に対する直接的監視は、SVDに基づく監視に比べて顕著な性能向上をもたらすことが示された。特に未学習カテゴリに対して顕著である。
• 高レベルの欠損点率に対しても、OPRNetは高い精度を維持するため、深度センサーや部分スキャンを伴うアプリケーションに適している。
• アブレーションスタディにより、外れ値バッチを備えたOT層が部分的対応関係を処理するために不可欠であることが確認され、完全観測を仮定するベースライン手法を上回っている。