[論文レビュー] Deep Functional Dictionaries: Learning Consistent Semantic Structures on 3D Models from Functions

Minhyuk Sung, Hao Su+2 more|arXiv (Cornell University)|May 24, 2018

3D Shape Modeling and Analysis被引用数 15

ひとこと要約

本稿では、点群幾何学と関連する意味的プローブ関数を学習することで、3次元形状の集合において一貫性があり共有される意味的構造を、対応関係なしに学習するニューラルネットワークフレームワーク、Deep Functional Dictionariesを提案する。この手法は、対応関係の教師信号なしに学習される、形状固有の基底関数のコンパクトな辞書を発見し、入力の意味的関数をカバーする。これにより、欠損したアノテーションがある状況でも、セグメンテーションやキーポイントタスクで優れた性能を示す一貫性のあるスパース符号化を実現する。

ABSTRACT

Various 3D semantic attributes such as segmentation masks, geometric features, keypoints, and materials can be encoded as per-point probe functions on 3D geometries. Given a collection of related 3D shapes, we consider how to jointly analyze such probe functions over different shapes, and how to discover common latent structures using a neural network --- even in the absence of any correspondence information. Our network is trained on point cloud representations of shape geometry and associated semantic functions on that point cloud. These functions express a shared semantic understanding of the shapes but are not coordinated in any way. For example, in a segmentation task, the functions can be indicator functions of arbitrary sets of shape parts, with the particular combination involved not known to the network. Our network is able to produce a small dictionary of basis functions for each shape, a dictionary whose span includes the semantic functions provided for that shape. Even though our shapes have independent discretizations and no functional correspondences are provided, the network is able to generate latent bases, in a consistent order, that reflect the shared semantic structure among the shapes. We demonstrate the effectiveness of our technique in various segmentation and keypoint selection applications.

研究の動機と目的

• 点対応関係や関数マップの教師信号を一切必要としない状況で、3次元形状の集合にわたる一貫性があり共有される意味的構造を発見すること。
• 各形状における与えられた意味的プローブ関数をカバーする、形状依存のコンパクトな基底関数の辞書を学習すること。
• 点群と意味的関数を端末から端末まで一括して学習することで、形状間で一貫性のある関数符号化を可能にすること。
• 特にアノテーションが不完全または汚損している状況でも、最小限の教師信号でセグメンテーションやキーポイント検出などの応用を支援すること。
• 損失関数の設計により、基底関数の原子が特定の意味的性質（例：最小部分、単一の点）を反映するように制約を課すこと。

提案手法

• 点対応関係の情報なしに、3次元形状の点群と関連する意味的プローブ関数（例：セグメンテーションマスク、キーポイント）のペアを用いてネットワークを学習する。
• PointNet や残差ネットワークなどのニューラルネットワークアーキテクチャが、点群と関連関数を処理し、各形状ごとに少数の基底関数を予測することで、形状固有の辞書を形成する。
• 損失関数が、予測された辞書が入力プローブ関数をカバーするよう促進するとともに、形状間で基底関数の順序が一貫性を持つように制約を課す。
• 復号が基底選択によってスパースかつ標準化されるように問題を関数オートエンコーダとして扱い、共有される意味的構造を促進する。
• 最適化に損失関数による制約を課し、基底原子が望ましい性質（例：セグメンテーションにおける最小部分、キーポイント検出における孤立点）に近づくように誘導する。
• 非剛体形状の場合、HKS や WKS などの点記述子を入力特徴として用い、サンプリングされた点からの測地的距離を追加することで対称性を破り、アライメントを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、対応関係や関数マップの教師信号なしに、3次元形状間で一貫性があり共有される意味的構造を学習できるか？
• RQ2 与えられた各形状における意味的プローブ関数をカバーする、コンパクトで形状固有の基底関数の辞書をどのように学習できるか？
• RQ3 アノテーションが不完全または汚損している状況でも、学習された基底関数が細分化された意味的パーツをどれほど正確に反映できるか？
• RQ4 基底原子を特定の意味的性質に制約することで、セグメンテーションやキーポイント検出のような多様な応用をサポートできるか？
• RQ5 明示的な対応関係なしに、非剛体で変形可能な形状間で、学習された機能的辞書が意味情報をどれほど効果的に伝達できるか？

主な発見

• 本手法は、点レベルの教師信号なしに、スクラッチから学習したにもかかわらず、部分セグメンテーションタスクで優れた性能を示し、IoU閾値0.5における再現率が、天井で90.2%、床で88.7%に達する。
• フレームワークは、形状間で一貫性のある基底関数の順序を学習し、非剛体な人体（MPI-FAUSTデータセット）に対しても、1つの形状から別の形状へと意味的関数（例：セグメンテーションインジケータ）を転送可能であることを示した。
• 意味的ラベルと基底原子インデックスの間に弱いが意味のある一貫性が示され、異なる種類の物体（例：壁 vs. 門）の間では明確に分離され、類似した高さの物体（例：椅子とソファ）の間でのみ混同が生じている。
• ネットワークは、複雑な意味的関数を、スパースで一貫性のある基底関数の組み合わせに分解する能力を学習し、形状間で部分的なアノテーションを統合して完全な分解を推定する。
• HKS と WKS 記述子に測地的距離特徴を追加することで、非剛体形状でも効果的な学習が可能となり、得られた原子関数は変形空間全体にわたり一貫した順序を持つ。
• フレームワークは応用にわたる汎用性が高く、損失関数の制約により、基底原子に望ましい性質（例：最小部分の特定、孤立キーポイントの同定）を強制することが可能である。