[論文レビュー] PointWise: An Unsupervised Point-wise Feature Learning Network

Matan Shoef, Sharon Fogel+1 more|arXiv (Cornell University)|Jan 14, 2019

3D Shape Modeling and Analysis参考文献 12被引用数 13

ひとこと要約

PointWiseは、アノテーションを一切用いずに、生の3Dポイントクラウドから意味的に意味のあるポイントワイズ特徴を学習する自己教師ありディープラーニングフレームワークを提案する。局所的パッチ再構成と空間的滑らかさを強制するトリプレット損失を用いた自己教師あり学習により、豊富で記述的な埋め込みを生成し、自己教師あり部品セグメンテーション、意味的類似性、異なるモデル間のポイント対応を実現する。

ABSTRACT

We present a novel approach to learning a point-wise, meaningful embedding for point-clouds in an unsupervised manner, through the use of neural-networks. The domain of point-cloud processing via neural-networks is rapidly evolving, with novel architectures and applications frequently emerging. Within this field of research, the availability and plethora of unlabeled point-clouds as well as their possible applications make finding ways of characterizing this type of data appealing. Though significant advancement was achieved in the realm of unsupervised learning, its adaptation to the point-cloud representation is not trivial. Previous research focuses on the embedding of entire point-clouds representing an object in a meaningful manner. We present a deep learning framework to learn point-wise description from a set of shapes without supervision. Our approach leverages self-supervision to define a relevant loss function to learn rich per-point features. We train a neural-network with objectives based on context derived directly from the raw data, with no added annotation. We use local structures of point-clouds to incorporate geometric information into each point's latent representation. In addition to using local geometric information, we encourage adjacent points to have similar representations and vice-versa, creating a smoother, more descriptive representation. We demonstrate the ability of our method to capture meaningful point-wise features through three applications. By clustering the learned embedding space, we perform unsupervised part-segmentation on point clouds. By calculating euclidean distance in the latent space we derive semantic point-analogies. Finally, by retrieving nearest-neighbors in our learned latent space we present meaningful point-correspondence within and among point-clouds.

研究の動機と目的

• アノテーションデータに依存せずに、3Dポイントクラウドの意味的でポイントワイズの表現を学習すること。
• 主に幾何的構造のみを用いて、不規則的かつ順序のないポイントクラウドにおける自己教師あり特徴学習の課題に対処すること。
• 潜在空間における局所的幾何と空間的滑らかさの両方を捉える自己教師あり学習目的関数を開発すること。
• 学習された特徴の意味的有用性を、複数の下流アプリケーションにおいて実証すること。

提案手法

• PointNetと同様に、生の座標から初期のポイントワイズ特徴を抽出するために共有マルチレイヤーパーセプトロン（MLP）を用いる。
• ポイントの局所的近傍をその潜在特徴ベクトルから再構成することを促進する局所的パッチ再構成損失を導入する。
• 3次元空間的近接性に基づくトリプレット損失を適用：近接するポイントは類似した埋め込みを持つよう促進され、遠く離れたポイントは異なった埋め込みを持つよう促進される。
• 再構成損失とトリプレット損失を組み合わせ、生のポイントクラウドの幾何からなる唯一の情報源を用いて、自己教師ありでネットワークを共同訓練する。
• 復元された特徴から局所的ポイントパッチを再構成できるデコーダーヘッドを採用し、形状補完と統合を可能にする。
• 対称的なマックスプールイングと特徴の連結を用いて、グローバルな文脈を保持しながら局所的構造を学習する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、何らの監視やアノテーションなしに、3Dポイントクラウドから意味的に意味のあるポイントワイズ特徴を学習できるか？
• RQ2 局所的幾何と空間的滑らかさに基づく自己教師あり目的関数は、生の座標よりも豊かな表現を生成できるか？
• RQ3 学習された潜在空間は、クラスタリングによって意味的部品セグメンテーションをサポートできるか？
• RQ4 学習された潜在空間におけるベクトル演算によって、意味的類似性（例：「アームレスト」から「レッグ」への類推）を発見できるか？
• RQ5 潜在空間における最近傍検索によって、空間的に離れていても異なるポイントクラウド間で意味的に類似したポイントを特定できるか？

主な発見

• 学習されたポイントワイズ特徴は、3DPCA可視化での色分けにより、オブジェクトの部品（例：いすのアームレスト）といった意味的属性を捉えている。
• 学習された潜在空間の自己教師ありクラスタリングは、生の座標を用いたベースライン手法を上回る意味的部品セグメンテーションを達成している。
• 潜在空間におけるベクトル演算により、「アームレスト」から「レッグ」への意味的類似性が成功裏に計算されている。
• 潜在空間における最近傍検索により、空間的に離れていても、異なるモデル間で意味的に類似したポイントを特定できる。
• このフレームワークはオブジェクトクラスを越えて一般化でき、同じカテゴリのポイントクラウド間で一貫した意味的対応関係を維持している。
• デコーダーモジュールにより形状補完と統合が可能であり、学習された局所的パッチ再構成能力の有効性が示されている。