[論文レビュー] LRF-Net: Learning Local Reference Frames for 3D Local Shape Description and Matching

Angfan Zhu, Jiaqi Yang+2 more|arXiv (Cornell University)|Jan 22, 2020

3D Shape Modeling and Analysis参考文献 20被引用数 4

ひとこと要約

LRF-Net は、弱い教師付き学習に基づき、類似ネットワークを用いて 3D ポイントクラウドのローカルリファレンスフレーム（LRF）を学習する深層学習的手法を提案する。隣接点に学習された重みを割り当てることで、LRF の再現性と耐障害性を向上させる。3 つの公的データセットにおいて最先端の手法を上回り、局所形状記述および 6-DoF ポーズ推定性能を顕著に向上させる。

ABSTRACT

The local reference frame (LRF) acts as a critical role in 3D local shape description and matching. However, most of existing LRFs are hand-crafted and suffer from limited repeatability and robustness. This paper presents the first attempt to learn an LRF via a Siamese network that needs weak supervision only. In particular, we argue that each neighboring point in the local surface gives a unique contribution to LRF construction and measure such contributions via learned weights. Extensive analysis and comparative experiments on three public datasets addressing different application scenarios have demonstrated that LRF-Net is more repeatable and robust than several state-of-the-art LRF methods (LRF-Net is only trained on one dataset). In addition, LRF-Net can significantly boost the local shape description and 6-DoF pose estimation performance when matching 3D point clouds.

研究の動機と目的

• 手作業で設計された LRF の限界を是正すること。特にノイズ、ごみ、遮蔽下での再現性と耐障害性の低さを改善する。
• グランドトゥルースの LRF やポーズアノテーションを必要とせず、ローカルパッチ間の対応関係のみを用いて LRF を弱い教師付きで学習すること。
• 各隣接点が LRF 構築に果たす独自の寄与を学習可能な重みでモデル化し、安定性と不変性を向上させること。
• より信頼性の高い LRF を提供することで、局所形状記述や 6-DoF ポーズ推定といった下流タスクの性能を向上させること。

提案手法

• LRF-Net は、対応ペアに基づく弱い教師付き学習を用い、ローカルポイントクラウドパッチから LRF を学習する類似ネットワークアーキテクチャを採用する。
• LRF の z 軸はキーポイントの法線ベクトルとして設定され、回転不変性と安定性が保証される。
• x 軸の計算には、隣接点からの回転不変幾何的特徴（角度と距離）を計算し、多層パーセプトロン（MLP）を用いて各点ごとの重みを予測する。
• x 軸は、学習された重みを用いた射影ベクトルの重み付き和として計算され、y 軸は z 軸との外積により導出される。
• 座標の原始的な値ではなく、不変幾何的特徴を活用することで、回転不変性を確保し、一般化性能を向上させる。
• グランドトゥルースの LRF が不要なエンドツーエンド学習を可能にするために、対応するローカルパッチのコントラスト型損失を用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グランドトゥルースの LRF やポーズアノテーションを一切必要とせず、手作業で設計された手法よりも再現性と耐障害性に優れた LRF を深層学習モデルが学習可能か？
• RQ2 学習された点ごとの重みは、ヒューリスティックな重み戦略と比較して、ノイズや遮蔽下での LRF の安定性にどのように寄与するか？
• RQ3 原始的な座標ではなく、回転不変幾何的特徴を使用することで、LRF 計算の耐障害性と性能が向上するか？
• RQ4 SOTA の LRF 手法と比較して、LRF-Net は局所形状記述や 6-DoF ポーズ推定といった下流タスクの性能をどの程度向上させるか？

主な発見

• LRF-Net (Normal + Sum1) は、BR、UWA3M、UWAOR の 3 つのベンチマークデータセットにおいて、平均コサイン類似度（MeanCos）で最高の性能を達成した。
• BR データセットでは、Normal + Sum1 の設定で MeanCos が 0.999 を記録し、他の手法を顕著に上回った。
• 回転に対して強く、30°、60°、90°、120° の回転においても安定した性能を示した。特に法線ベクトルをガイドとして用いることで顕著な安定性が得られた。
• サポート半径が拡大するに従っても LRF-Net は安定した性能を維持するが、他の手法は性能を低下させることから、より優れた統計的整合性を示した。
• 可視化結果から、学習された重みが必ずしも近い点に高い値をとるとは限らず、CA や PSD に基づく LRF における従来の仮定に反する結果が得られた。
• ベクトル和（Sum1）による学習済み重みの統合は、マックスプーリングや距離低減（DR）戦略と比較して優れた性能を示した。