[論文レビュー] SNAKE: Shape-aware Neural 3D Keypoint Field

Zhong Cheng-liang, Peixing You+7 more|arXiv (Cornell University)|Jun 3, 2022

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

SNAKEは、座標に基づくニューラルフィールドを用いて形状の指標とキーポイントの重要度を同時に予測することで、内在的な形状認識を可能にする、新しい教師なし3次元キーポイント検出フレームワークを提案する。ModelNet40、KeypointNet、3DMatchなどのベンチマークにおいて、明示的な教師なし学習なしで、再現性、意味的整合性、ダウンサンプリングに対する耐性の面で最先端の性能を達成している。

ABSTRACT

Detecting 3D keypoints from point clouds is important for shape reconstruction, while this work investigates the dual question: can shape reconstruction benefit 3D keypoint detection? Existing methods either seek salient features according to statistics of different orders or learn to predict keypoints that are invariant to transformation. Nevertheless, the idea of incorporating shape reconstruction into 3D keypoint detection is under-explored. We argue that this is restricted by former problem formulations. To this end, a novel unsupervised paradigm named SNAKE is proposed, which is short for shape-aware neural 3D keypoint field. Similar to recent coordinate-based radiance or distance field, our network takes 3D coordinates as inputs and predicts implicit shape indicators and keypoint saliency simultaneously, thus naturally entangling 3D keypoint detection and shape reconstruction. We achieve superior performance on various public benchmarks, including standalone object datasets ModelNet40, KeypointNet, SMPL meshes and scene-level datasets 3DMatch and Redwood. Intrinsic shape awareness brings several advantages as follows. (1) SNAKE generates 3D keypoints consistent with human semantic annotation, even without such supervision. (2) SNAKE outperforms counterparts in terms of repeatability, especially when the input point clouds are down-sampled. (3) the generated keypoints allow accurate geometric registration, notably in a zero-shot setting. Codes are available at https://github.com/zhongcl-thu/SNAKE

研究の動機と目的

• 形状再構築が、暗黙的形状表現とキーポイントの重要度を同時に学習することで、3次元キーポイント検出の性能を向上させられるかどうかを調査すること。
• 従来の方法が離散的な点群に依存しており、内在的な形状認識を欠いているという限界を解決すること。
• 3次元キーポイント検出と表面再構築を自然に統合する、統一的で教師なしのパラダイムを構築すること。
• ダウンサンプリングやゼロショット登録のシナリオにおいて、キーポイントの再現性と耐性を向上させること。
• 人間によるアノテーションなしで、オブジェクトカテゴリ間で一貫した意味的整合性を持つキーポイント検出を可能にすること。

提案手法

• SNAKEは、連続的な3次元クエリ座標を入力とし、共有の特徴空間内で形状の占有状態（表面指標）とキーポイントの重要度スコアを同時に予測する座標ベースのニューラルネットワークを用いる。
• モデルは、入力点群に条件付けられた学習済みの暗黙的表現からの三線形特徴サンプリングを採用しており、3次元空間における連続的かつ微分可能な推論を可能にする。
• 並列なデコーダーヘッドがキーポイントの重要度を予測する一方、別のヘッドがクエリポイントが元の形状表面にあるかどうかを予測する。
• グリッドセルごとに局所的最大値を強制するためにスパarsity損失を適用し、相対的再現性損失を用いて視点間の一貫性を促進する。
• 推論段階で、重要度フィールドにおける勾配上昇法を用いてキーポイント座標を最適化するステップを適用する。
• 占有状態、表面、再現性、スパarsityの項を組み合わせた損失関数を用いて、形状再構築とキーポイント検出を同時に監視する。

実験結果

リサーチクエスチョン

• RQ1 形状再構築を共同で学習することで、特に再現性と意味的整合性の面で3次元キーポイント検出の性能が向上するか？
• RQ2 離散ベースの手法と比較して、座標に基づくニューラルフィールドの定式化が、疎な入力点群に対してもより良い一般化性能と耐性を実現できるか？
• RQ3 形状認識を考慮した暗黙的表現は、人間によるアノテーションなしで意味的に意味のあるキーポイントを検出できるか？
• RQ4 形状再構築の統合が、ダウンサンプリングやゼロショット登録タスクにおけるキーポイント再現性にどのように影響するか？
• RQ5 自明な解を避け、明確で再現可能なキーポイント検出を保証するために、損失項のどの組み合わせが必要か？

主な発見

• ModelNet40において、ε=0.04の閾値で85%の相対的再現性を達成し、先行する教師なし手法を上回った。
• KeypointNetでは、意味的キーポイント検出で89%のmIoUを達成し、監視なしで強力な意味的整合性を示した。
• 極めて強いダウンサンプリング下でも、42%の相対的再現性（ε=0.1）を維持し、UKPGANに類似した手法を上回った。
• アブレーションスタディの結果、占有状態および表面損失を削除すると性能はほぼゼロ（0.92%の再現性）にまで低下し、これらが不可欠であることが証明された。
• 最適なグリッドサイズU=6が最良の性能（85%の相対的再現性）をもたらしたが、より高いボリュメトリック解像度（H=64）は性能を向上させたが、H=80ではノイズの多いコサイン類似度の影響で劣化した。
• 推論段階での最適化ステップは極めて重要であり、10ステップで学習率0.001に設定すると85.4%の再現性を達成したが、より低い学習率（0.0001）や高い学習率（0.1）では性能が劣化した。