[論文レビュー] UnsupervisedR&R: Unsupervised Point Cloud Registration via Differentiable Rendering

Mohamed El Banani, Luya Gao+1 more|arXiv (Cornell University)|Feb 23, 2021

3D Surveying and Cultural Heritage参考文献 75被引用数 8

ひとこと要約

UnsupervisedR&Rは、光度的および幾何的整合性を強制するために微分可能レンダリングを用いる、エンド・ツー・エンドで教師なしのRGB-D点群登録手法を提案する。教師付きポーズ情報なしで生のRGB-D動画を学習することで、手作業で設計された特徴量や学習された特徴量を用いる従来手法を上回り、教師あり幾何的登録手法と同等の性能を達成した。これは、視覚合成による自己教師学習が、アノテーションフリーの堅牢な学習を可能にすることを示している。

ABSTRACT

Aligning partial views of a scene into a single whole is essential to understanding one's environment and is a key component of numerous robotics tasks such as SLAM and SfM. Recent approaches have proposed end-to-end systems that can outperform traditional methods by leveraging pose supervision. However, with the rising prevalence of cameras with depth sensors, we can expect a new stream of raw RGB-D data without the annotations needed for supervision. We propose UnsupervisedR&R: an end-to-end unsupervised approach to learning point cloud registration from raw RGB-D video. The key idea is to leverage differentiable alignment and rendering to enforce photometric and geometric consistency between frames. We evaluate our approach on indoor scene datasets and find that we outperform existing traditional approaches with classic and learned descriptors while being competitive with supervised geometric point cloud registration approaches.

研究の動機と目的

• RGB-Dデータに対して、ポーズアノテーションが入手困難であるという課題に応えること。
• 連続するフレームが同じシーンを異なる視点から捉えているというRGB-D動画の自然な自己教師信号を活用し、真のポーズ情報なしで登録モデルを学習すること。
• 微分可能レンダリングと整合性損失を用いて、特徴抽出と幾何的アライメントを同時に学習するエンド・ツー・エンドの教師なし学習フレームワークを開発すること。
• 光度的および幾何的整合性損失が、効果的な点群登録のためのポーズ監視を代替できることを検証すること。

提案手法

• 本手法は、RGB-Dフレームから3次元座標と特徴ベクトルを有する3次元点群を抽出する特徴エンコーダを用いる。
• 予測されたカメラ変換を用いて、1フレームを他方のフレームから微分可能レンダリングにより再構築することで、レンダリングプロセスに勾配が伝搬可能となる。
• 入力画像とレンダリング画像のピixel単位の差を最小化することで、光度的整合性を強制する。
• レンダリングされた点群とターゲット点群のチャームファーディスタンスを最小化することで、幾何的整合性を強制する。
• ローの比率テストの微分可能バージョンを用いて対応点をフィルタリングし、外れ値に対してより頑健にする。
• 推論時に、RANSACにインspiredしたランダムな対応点サブセットを用いることで、頑健性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 微分可能レンダリングパイプラインにおける光度的および幾何的整合性損失は、点群登録においてポーズ監視を代替できるか？
• RQ2 教師なし登録フレームワークにおける対応点フィルタリングに、ローの比率テストの微分可能バージョンはどの程度有効か？
• RQ3 RGB-D動画からの自己教師信号は、どの程度教師あり幾何的登録手法と同等の性能を達成可能か？
• RQ4 サブセットサンプリングや特徴学習といった設計選択が、モデルの頑健性と精度にどのように影響を与えるか？

主な発見

• UnsupervisedR&Rは、ScanNetデータセットにおいて、古典的特徴量（例：SIFT、FCGF）や学習された特徴量（例：DeepSDF）を用いる従来の登録パイプラインを上回る性能を発揮した。
• 本手法は、ポーズ監視が一切ないにもかかわらず、最先端の教師あり幾何的登録手法と同等の性能を達成した。
• アブレーションスタディの結果、微分可能比率テストを削除すると性能が最も著しく低下し、対応点フィルタリングにおけるその重要性が浮き彫りになった。
• 推論時に使用するランダムサブセットの数を増やすことで性能が向上し、100個のサブセットで飽和する傾向を示した。これは、精度と推論時間のトレードオフを示している。
• ランダムサブセットモジュールを訓練時のみに適用（推論時には適用しない）することで性能が向上した。これは、ドロップアウトと同様の正則化効果があると考えられる。