[論文レビュー] PRNet: Self-Supervised Learning for Partial-to-Partial Registration

Yue Wang, Justin Solomon|arXiv (Cornell University)|Oct 27, 2019

3D Shape Modeling and Analysis被引用数 112

ひとこと要約

PRNetは、Gumbel–Softmaxとアクター–クリティック風モジュールを用いて、keypoints、correspondences、および rigid transformsを学習する自己教師付きの反復的フレームワークを導入し、syntheticおよびrealデータで最先端の結果を達成するとともに、分類への転移を可能にする。

ABSTRACT

We present a simple, flexible, and general framework titled Partial Registration Network (PRNet), for partial-to-partial point cloud registration. Inspired by recently-proposed learning-based methods for registration, we use deep networks to tackle non-convexity of the alignment and partial correspondence problems. While previous learning-based methods assume the entire shape is visible, PRNet is suitable for partial-to-partial registration, outperforming PointNetLK, DCP, and non-learning methods on synthetic data. PRNet is self-supervised, jointly learning an appropriate geometric representation, a keypoint detector that finds points in common between partial views, and keypoint-to-keypoint correspondences. We show PRNet predicts keypoints and correspondences consistently across views and objects. Furthermore, the learned representation is transferable to classification.

研究の動機と目的

• 形状の部分集合のみが可視である場合の部分対部分の点群登録に対処する。
• ラベル付きデータなしで、幾何学表現、キーポイント検出器、およびキーポイント対応を学習する自己教師付きフレームワークを開発する。
• 学習ベースのロバスト性を活用しつつ、ICPに類似した粗い段階から細かな段階への整合の反復的な refinement を可能にする。
• 学習された表現を3D形状分類へ転用できることを示す。
• 3Dビジョンと登録研究者のために、コード公開を含む再現性のある手法を提供する。

提案手法

• DGCNNとTransformerを介して二つの点群の共文脈埋め込みを学習する深層ネットワークを使用する。
• 学習特徴のL2ノルムを活用して上位k点を選択することで、相互に共有されたキーポイントを検出する。
• Gumbel–Softmaxサンプラーとstraight-through勾配推定器を用いて、キーポイント間対応を予測する。
• 批判的風のネットワークで予測された適応温度(lambda)を取り入れ、対応付けの鋭さを制御する。
• 検出されたキーポイントに対してProcrustes整合を解き、剛体変換の推定を得る。
• 各ステップで埋め込みとキーポイントを更新しつつ、反復的にPRNetを適用して整合を改良する。

実験結果

リサーチクエスチョン

• RQ1 PRNetは完全なビューの対応関係がない場合でも、部分-to-部分登録を頑健に実行できるか。
• RQ2 キーポイント検出と対応の自己教師付き学習が、分類などの下流タスクに転用可能な表現を生むか。
• RQ3 対応の鋭さの適応的なアクター–クリティック風制御は、さまざまな視条件下で登録精度を改善するか。
• RQ4 PRNetは合成データと実データの(partial-to-partial)設定で、古典的手法および他の学習ベースの登録法と比較してどうか。

主な発見

モデル	MSE(R) ↓	RMSE(R) ↓	MAE(R) ↓	R2(R) ↑	MSE(t) ↓	RMSE(t) ↓	MAE(t) ↓	R2(t) ↑
ICP	1134.552	33.683	25.045	-5.696	0.0856	0.293	0.250	-0.037
Go-ICP [14]	195.985	13.999	3.165	-0.157	0.0011	0.033	0.012	0.987
FGR [61]	126.288	11.238	2.832	0.256	0.0009	0.030	0.008	0.989
PointNetLK [1]	280.044	16.735	7.550	-0.654	0.0020	0.045	0.025	0.975
DCP-v2 [2]	45.005	6.709	4.448	0.732	0.0007	0.027	0.020	0.991
PRNet (Ours)	10.235	3.199257	1.454	0.939	0.0003	0.016	0.010	0.997

• PRNetは、syntheticデータのModelNet40およびrealデータにおけるpartial-to-partial登録の最先端性能を達成し、ICP、Go-ICP、FGR、PointNetLK、およびDCP-v2を複数指標で上回る。
• 方法で学習されたキーポイントと対応はビューやオブジェクトを越えて一貫性を保ち、信頼性の高いProcrustes整合を可能にする。
• 適応的Gumbel–Softmaxと予測温度(lambda)により、適切な場合に対応の鋭さが向上し、より正確な剛体変換を得られる。
• PRNetが学習する登録表現は、ShapeNetCore由来の埋め込みを用いた線形SVMで競争力のある精度を示す3D形状分類へ転移する。
• 実データスキャンでの推論時のファインチューニング（現実味の向上のための適用）は、実世界データに対する実用性とロバスト性を示す。