[論文レビュー] PVNet: A Joint Convolutional Network of Point Cloud and Multi-View for 3D Shape Recognition

Haoxuan You, Yifan Feng+2 more|arXiv (Cornell University)|Aug 23, 2018

3D Shape Modeling and Analysis参考文献 30被引用数 33

ひとこと要約

PVNet は、点群とマルチビュー表現を統合する新しい共同畳み込みネットワークであり、埋め込み注意融合機構を用いてマルチビューデータの高レベルグローバル特徴を活用し、点群における局所構造特徴の学習を向上させる。この手法は、3D形状認識の分野で ModelNet40 において、分類およびリtrieval タスクの両方で最先端の性能を達成している。

ABSTRACT

3D object recognition has attracted wide research attention in the field of multimedia and computer vision. With the recent proliferation of deep learning, various deep models with different representations have achieved the state-of-the-art performance. Among them, point cloud and multi-view based 3D shape representations are promising recently, and their corresponding deep models have shown significant performance on 3D shape recognition. However, there is little effort concentrating point cloud data and multi-view data for 3D shape representation, which is, in our consideration, beneficial and compensated to each other. In this paper, we propose the Point-View Network (PVNet), the first framework integrating both the point cloud and the multi-view data towards joint 3D shape recognition. More specifically, an embedding attention fusion scheme is proposed that could employ high-level features from the multi-view data to model the intrinsic correlation and discriminability of different structure features from the point cloud data. In particular, the discriminative descriptions are quantified and leveraged as the soft attention mask to further refine the structure feature of the 3D shape. We have evaluated the proposed method on the ModelNet40 dataset for 3D shape classification and retrieval tasks. Experimental results and comparisons with state-of-the-art methods demonstrate that our framework can achieve superior performance.

研究の動機と目的

• 既存の 3D 形状認識モデルが点群とマルチビューデータを別々に扱うという限界に対処する。これは、両者の相補的な強みがあるにもかかわらずである。
• マルチビューネットワークからの高レベルグローバル特徴が、点群ベースのモデルにおける局所特徴学習をどのように向上させられるかを検討する。
• 両方の表現を統合的に活用する統一されたフレームワークを設計する。
• マルチビュー入力からのグローバルコンテキストに基づいて、局所構造特徴を適応的に重みづける学習可能な注意メカニズムを開発する。

提案手法

• フレームワークは、空間変換ネットワークと EdgeConv を用いた点群ブランチから構成され、順序なし点群から局所幾何的特徴を抽出する。
• マルチビュー・ブランチは、視点プーリングを伴う重み共有畳み込みニューラルネットワーク（MVCNN）を採用し、12 個の事前定義されたカメラ視点からグローバル特徴を生成する。
• 埋め込みネットワークは、マルチビューのグローバル特徴を点群特徴の部分空間に射影することで、クロスモダリティ統合を可能にする。
• 注意融合ブロックは、埋め込みグローバル特徴と局所点群特徴を統合してソフトな注意マスクを生成し、判別性の高い局所構造を適応的に強調する。
• 注意マスクは残差的な方法で適用され、点群特徴が精錬され、判別性が向上するとともに、不要な特徴が抑制される。
• 両ブランチからの最終特徴は連結され、全結合層に供給され、分類およびリtrieval に用いられる。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー表現からの高レベルグローバル特徴は、点群ベースの 3D 形状認識における局所特徴学習を向上させることができるか？
• RQ2 点群とマルチビューデータは、3D 形状表現における相補的強みを活かして、どのように効果的に統合できるか？
• RQ3 埋め込みグローバル特徴に基づく注意メカニズムは、局所点群特徴の判別力を向上させることができるか？
• RQ4 点群とマルチビューデータの共同学習は、単一モダリティ手法と比較して、3D 形状分類およびリtrieval においてより優れた性能を達成するか？

主な発見

• PVNet は、3D 形状分類において ModelNet40 データセットで最先端の性能を達成し、従来の点群のみまたはマルチビューのみのモデルを上回っている。
• 提案された埋め込み注意融合機構により、グローバルコンテキストに基づいて局所構造特徴を適応的に重みづけることで、特徴の判別性が顕著に向上した。
• アブレーションスタディの結果、注意融合および点群とマルチビューの統合学習の両方が性能向上に寄与していることが確認された。
• 本手法は、点群ブランチおよびマルチビューブランチのバックボーンアーキテクチャが異なる場合にも、頑健で一般化性に優れていることが示された。
• 本フレームワークは優れたリtrieval 性能を達成しており、コンactかつ判別性の高い 3D 形状表現を学習できていることが示された。