[論文レビュー] PPF-FoldNet: Unsupervised Learning of Rotation Invariant 3D Local Descriptors

Haowen Deng, Tolga Birdal+1 more|arXiv (Cornell University)|Aug 30, 2018

3D Shape Modeling and Analysis参考文献 40被引用数 18

ひとこと要約

PPF-FoldNet は、点対特徴（PPFs）と折りたたみ型オートエンコーダーを活用して、教師なしで回転不変性を持つ 3D 局所特徴ネットワークを提案する。入力点群から直接特徴を学習し、判別性・スパarsity・順列不変性を兼ね備える。教師なし・基準フレーム依存なしにもかかわらず、標準ベンチマークで最先端性能を達成し、リcallが 9% 向上。点密度が低下した場合、35% 以上の性能向上を達成する。

ABSTRACT

We present PPF-FoldNet for unsupervised learning of 3D local descriptors on pure point cloud geometry. Based on the folding-based auto-encoding of well known point pair features, PPF-FoldNet offers many desirable properties: it necessitates neither supervision, nor a sensitive local reference frame, benefits from point-set sparsity, is end-to-end, fast, and can extract powerful rotation invariant descriptors. Thanks to a novel feature visualization, its evolution can be monitored to provide interpretable insights. Our extensive experiments demonstrate that despite having six degree-of-freedom invariance and lack of training labels, our network achieves state of the art results in standard benchmark datasets and outperforms its competitors when rotations and varying point densities are present. PPF-FoldNet achieves $9\%$ higher recall on standard benchmarks, $23\%$ higher recall when rotations are introduced into the same datasets and finally, a margin of $>35\%$ is attained when point density is significantly decreased.

研究の動機と目的

• 教師なし・基準フレーム不要な、点群幾何におけるロバストで判別性の高い 3D 局所特徴の欠如を解消すること。
• 従来の深層学習手法における制限、特に 6-DoF 変換に敏感であることや、手作業による前処理に依存することを克服すること。
• 点密度の変動や任意の回転に対して一般化性能が高く、高速でエンドツーエンドかつ解釈可能なネットワークを構築すること。
• スパースな点群からの幾何的構造のみを用いて、強力で回転不変性を持つ局所特徴を教師なしで学習可能にする。

提案手法

• 点対特徴（PPFs）を用いて 4 次元の局所 3D 幾何を表現し、点対間の相対的位置と法線を符号化する。
• PointNet をベースとするエンコーダーを採用し、PPF を低次元のコードワードに圧縮することで、順列不変性とスパarsity の認識を確保する。
• FoldingNet を模倣したデコーダーを用い、2D グリッドの折りたたみ機構を 4 次元 PPF 空間に適用して元の PPF を再構築する。
• ペaired やトリプレットのアノテーションが不要なセット距離損失を用いて、エンドツーエンドでオートエンコーダーを学習させ、教師なし学習を実現する。
• 訓練プロセスの監視と特徴の進化の解釈を可能にする、PPF 空間の新規な無損失可視化を導入する。
• T-SNE を用いて学習済みの潜在空間を可視化し、幾何的類似性に基づく語義的クラスタリングが行われていることを示す。

実験結果

リサーチクエスチョン

• RQ1 PPF のみで学習された深層オートエンコーダーは、教師なしで回転不変性を持つ 3D 局所特徴を学習できるか？
• RQ2 任意の 6-DoF 変換と点群密度の変動に対して、教師あり・回転に敏感なベースラインと比較して、本ネットワークの性能はいかがなっているか？
• RQ3 学習済み特徴は、異なる断片や幾何的配置に対し、どの程度一般化できるか？
• RQ4 PPF 空間の内部表現は、訓練中の構造的進化を明らかにするような形で可視化可能か？

主な発見

• 標準条件下で、標準 3D ベンチマークデータセット上、PPF-FoldNet は最先端手法よりも 9% のリcall向上を達成した。
• テストデータに任意の回転を適用した場合、PPF-FoldNet は最も近い競合手法よりもリcallで 23% 向上した。
• 顕著に点密度が低下した状況下でも、PPF-FoldNet は既存手法よりも 35% 以上のリcall向上を達成した。
• T-SNE で可視化されたネットワークの潜在空間は、語義的および幾何的に類似したパッチが近接して埋め込まれていることを示しており、意味のある特徴学習が行われていることを確認した。
• 新規な PPF 可視化により、ランダム初期化からでさえも、ネットワークが PPF シグネイチャを忠実に再構築できること、かつ急速に収束することが明らかになった。
• 定性的なマッチング結果から、PPF-FoldNet は他のすべての手法よりも正しい対応点を多く発見しており、特に極端な変換下でも顕著な優位性を示した。