[論文レビュー] USIP: Unsupervised Stable Interest Point Detection from 3D Point Clouds

Jiaxin Li, Gim Hee Lee|arXiv (Cornell University)|Mar 30, 2019

3D Shape Modeling and Analysis参考文献 39被引用数 18

ひとこと要約

本稿では、任意のSE(3)変換下でも教師なしで、繰り返し性が高く、正確に局所化された3次元キーポイントを3次元点群から検出する深層学習ベースの非教師付き手法USIPを提案する。特徴提案ネットワークを用い、ランダムに変換された点群ペア上で確率的チェンバーやポイント対ポイント損失を訓練することで、再現性、特徴の明確さ、速度の面で最先端の性能を達成した。

ABSTRACT

In this paper, we propose the USIP detector: an Unsupervised Stable Interest Point detector that can detect highly repeatable and accurately localized keypoints from 3D point clouds under arbitrary transformations without the need for any ground truth training data. Our USIP detector consists of a feature proposal network that learns stable keypoints from input 3D point clouds and their respective transformed pairs from randomly generated transformations. We provide degeneracy analysis of our USIP detector and suggest solutions to prevent it. We encourage high repeatability and accurate localization of the keypoints with a probabilistic chamfer loss that minimizes the distances between the detected keypoints from the training point cloud pairs. Extensive experimental results of repeatability tests on several simulated and real-world 3D point cloud datasets from Lidar, RGB-D and CAD models show that our USIP detector significantly outperforms existing hand-crafted and deep learning-based 3D keypoint detectors. Our code is available at the project website. https://github.com/lijx10/USIP

研究の動機と目的

• 任意の変換下でも繰り返し性が高い有効な3次元キーポイント検出器が不足している問題に取り組むこと。特に教師データが存在しない状況での学習を想定する。
• 3次元点群におけるハンドクラフト手法の限界を克服すること。幾何的不変性に難があり、視点変化に対して頑健でない点を改善する。
• アノテート済みキーポイントデータを必要としない深層学習ベースの検出器を開発し、ランダムな変換を施した合成データ上で学習可能にする。
• 入力点群の既存点から選ぶのではなく、キーポイント位置を回帰することで、キーポイント局所化の精度を向上させること。
• 理論的分析と緩和戦略を通じて、訓練中のネットワークの劣化（崩壊）を防止し、安定性を確保すること。

提案手法

• 3次元点群からキーポイント座標と局所化スコアを回帰する特徴提案ネットワーク（FPN）を提案。離散的な点から選ぶのではなく、サブボクセルレベルの局所化を可能にする。
• ランダムなSE(3)変換によって生成された変換済み点群ペアを用いてFPNを訓練。回転および平行移動に対して不変性を実現する。
• 対応する点群ペアからの検出キーポイント間の距離を最小化する確率的チェンバーロスを導入。再現性の向上を促進する。
• キーポイントが入力点群に近接するように制約するポイント対ポイント損失を組み込み、局所化精度を向上させる。
• 劣化（崩壊）の分析を実施し、正則化や損失重み付けなどの戦略を提案。訓練中の崩壊を防止する。
• 教師なしで合成データ上で自己教師学習を実施。教師データが不要な完全な非教師学習であり、実世界の3次元データにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの3次元キーポイント検出器は、教師データなしで任意のSE(3)変換下でも高い再現性を達成できるか？
• RQ2 点群内の既存点から選ぶのではなく、キーポイントの局所化精度をどのように向上できるか？
• RQ3 非教師学習の3次元キーポイント検出器を訓練するにあたり、再現性と局所化精度を最大化するために有効な損失関数は何か？
• RQ4 自己教師学習における3次元キーポイント検出のネットワーク劣化は、どのように診断・防止できるか？
• RQ5 提案手法は、LiDAR、RGB-D、CADモデルなど多様な3次元データタイプに一般化可能であり、さまざまな記述子とも効果的に連携できるか？

主な発見

• USIPは、深層記述子と組み合わせた場合、KITTIデータセットで登録失敗率が0.24%（最低）かつインライア比率が28.0%（最高）を達成し、他のすべての検出器を上回った。
• 最適な設定下で、USIPはKITTIデータセットで失敗率を0.24%に低下させ、インライア比率を28.0%まで向上させ、3DFeatNet（0.57%失敗率、12.9%インライア比率）を著しく上回った。
• USIPは3DFeatNetや他の検出器よりも10倍以上高速であり、1点群あたりの平均推論時間は0.011秒で、128個のキーポイントを抽出可能だった。
• 確率的チェンバーロスは、シミュレートおよび実世界データセットにおける広範な再現性テストを通じて、変換下でのキーポイント再現性を効果的に促進することが実証された。
• USIPは、ModelNet40（CAD）、Redwood（RGB-D）、Oxford RobotCarおよびKITTI（LiDAR）データセットなど、多様なデータモダリティに強く一般化する能力を示した。
• 重度のダウンサンプリングやノイズの多いスキャンに対しても頑健であり、低テクスチャ・スパarsな幾何構造を示す挑戦的なRGB-Dデータセットでも高い性能を維持した。