[論文レビュー] Unsupervised Detection of Distinctive Regions on 3D Shapes

Xianzhi Li, Lequan Yu+3 more|arXiv (Cornell University)|May 5, 2019

3D Shape Modeling and Analysis参考文献 60被引用数 4

ひとこと要約

本論文は、ラベルなしでポイントクラウドを用いて3次元形状上の特徴的な領域を検出する教師なし深層学習手法を提案する。クラスタリングに基づくソフトマックスと対照的損失を統合した損失関数を用い、ラベルなしで各ポイントの特徴的さを学習する。主な貢献は、形状クラスに対して相対的な領域レベルの特徴的さを同定する自己教師ありフレームワークを構築したことであり、リtrieval、サンプリング、ビュー選択の応用においてModelNet40で最先端の性能を達成する。

ABSTRACT

This paper presents a novel approach to learn and detect distinctive regions on 3D shapes. Unlike previous works, which require labeled data, our method is unsupervised. We conduct the analysis on point sets sampled from 3D shapes, then formulate and train a deep neural network for an unsupervised shape clustering task to learn local and global features for distinguishing shapes with respect to a given shape set. To drive the network to learn in an unsupervised manner, we design a clustering-based nonparametric softmax classifier with an iterative re-clustering of shapes, and an adapted contrastive loss for enhancing the feature embedding quality and stabilizing the learning process. By then, we encourage the network to learn the point distinctiveness on the input shapes. We extensively evaluate various aspects of our approach and present its applications for distinctiveness-guided shape retrieval, sampling, and view selection in 3D scenes.

研究の動機と目的

• 手作業で作成した特徴量やアノテーションデータに依存せずに、3次元形状上の特徴的な領域を教師なしで検出する手法を開発すること。
• 与えられた集合内の他の形状と比較して、各ポイントおよび各形状の特徴を反映する特徴量を学習すること。
• 特徴的さを指標とする形状リtrieval、ポイントサンプリング、3次元シーンにおける最適ビュー選択といった応用を可能にすること。
• グローバル特徴量が不十分なクラス内設定における微細な形状差を区別する課題に対処すること。

提案手法

• 3次元形状を柔軟で軽量な入力表現としてポイントクラウドとして表現する。
• 教師なしクラスタリングタスクを学習対象とする深層ニューラルネットワークを設計し、各ポイントおよび各形状の判別性のある特徴量を学習する。
• クラスタリングに基づく非パrametricソフトマックスと適応した対照的損失を統合した損失関数を定式化し、訓練の安定化と特徴量品質の向上を図る。
• 学習済みネットワークから得た各ポイントの特徴量を用いて、その形状内での一意性を反映する特徴的さスコアを各ポイントに割り当てる。
• 特徴的さスコアを元のメッシュに再投影し、表面上の特徴的な領域を同定する。
• 選択されたビューにおける特徴的さを最大化することで、形状リtrieval、サンプリング、ビュー選択といった下流タスクに学習済み特徴的さを応用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータや事前定義された局所的特徴量を一切用いずに、特徴的さを教師なしで効果的に学習できるか？
• RQ2 ネットワークの特徴的領域検出能力は、クラス間とクラス内形状セットの両方でどのように変化するか？
• RQ3 特徴的領域は、形状分類およびリtrieval性能にどの程度寄与するか？
• RQ4 特徴的さを指標とするサンプリングおよびビュー選択は、ベースライン手法を上回る形状情報の保持性能を示せるか？

主な発見

• 本手法は、FoldingNetのような一般的な教師なし特徴量学習手法を上回る、特徴的さを指標とする形状リtrievalで最先端の性能を達成した。
• 同じ形状上で検出される特徴的領域は、参照データセットに大きく依存する：クラス間検出ではグローバルな輪郭が強調され、クラス内検出では飛行機のエンジンのような局所的特徴が強調される。
• 特徴的領域から離れたポイントをサンプリングしても分類精度にほとんど影響がないことから、これらの領域が形状識別に重要であることが確認された。
• ネットワークは、可視ポイントの平均特徴的さを最大化することで、3次元シーンにおける最適ビューを自動的に選択でき、ランダムまたは最悪ケースのビュー選択を上回った。
• 本手法は非対称な特徴的領域を検出でき、今後の研究で形状の対称性を組み込むことでさらなる改善が期待できる。