[論文レビュー] PVRNet: Point-View Relation Neural Network for 3D Shape Recognition

Haoxuan You, Yifan Feng+4 more|arXiv (Cornell University)|Dec 2, 2018

3D Shape Modeling and Analysis参考文献 21被引用数 4

ひとこと要約

PVRNetは、学習可能なポイント-ビュー関係スコアを用いてポイントクラウドとマルチビュー特徴を統合することで、特徴表現を向上させる新しい3次元形状認識フレームワークである。ポイント-単一ビューおよびポイント-複数ビュー間の関係を活用することで、ModelNet40において最先端の性能を達成し、全体精度で最大1%の向上を示し、欠損データに対しても強いロバスト性を示している。

ABSTRACT

Three-dimensional (3D) shape recognition has drawn much research attention in the field of computer vision. The advances of deep learning encourage various deep models for 3D feature representation. For point cloud and multi-view data, two popular 3D data modalities, different models are proposed with remarkable performance. However the relation between point cloud and views has been rarely investigated. In this paper, we introduce Point-View Relation Network (PVRNet), an effective network designed to well fuse the view features and the point cloud feature with a proposed relation score module. More specifically, based on the relation score module, the point-single-view fusion feature is first extracted by fusing the point cloud feature and each single view feature with point-singe-view relation, then the point-multi-view fusion feature is extracted by fusing the point cloud feature and the features of different number of views with point-multi-view relation. Finally, the point-single-view fusion feature and point-multi-view fusion feature are further combined together to achieve a unified representation for a 3D shape. Our proposed PVRNet has been evaluated on ModelNet40 dataset for 3D shape classification and retrieval. Experimental results indicate our model can achieve significant performance improvement compared with the state-of-the-art models.

研究の動機と目的

• 既存のディープラーニングモデルにおけるポイントクラウドとマルチビュー3次元データモダリティ間の有効な統合の欠如に対処すること。
• 個々のビューがポイントクラウドに対して異なる関連性を示すことをモデル化し、より判別力のある特徴統合を実現すること。
• 学習されたスコアを用いて単一ビューと複数ビューの両方の関係を活用することで、3次元形状認識およびリtrieval性能を向上させること。
• ポイントクラウドとビュー間の補完的情報を活用することで、欠損データに対するロバスト性を高めること。

提案手法

• 関係スコアモジュールは、ポイントクラウドと各個々のビュー間の関連性を計算し、判別力の高い潜在的統合に基づく選択的統合を可能にする。
• ポイント-単一ビュー統合は、対応する関係スコアを用いてポイントクラウドと各ビューを統合し、各ビューごとの統合特徴を生成する。
• ポイント-複数ビュー統合は、関係スコアで順位付けされた最も関連性の高いビューからなるビュー集合（PVSets）を構築し、それらをポイントクラウドと統合して統一された表現を形成する。
• 最終的な特徴表現は、ポイント-単一ビュー統合特徴とポイント-複数ビュー統合特徴を統合することで得られ、判別力が向上する。
• ネットワークは、交差エントロピー損失とトリプルット損失を用いて、ModelNet40上で3次元形状分類およびリtrievalのエンドツーエンド学習が行われる。
• アブレーションスタディおよび可視化により、関係ベースの統合の重要性とスコアモジュールの有効性が検証される。

実験結果

リサーチクエスチョン

• RQ1 ポイントクラウドと個々のビュー間の関係をモデル化することで、3次元形状特徴表現が向上するか？
• RQ2 すべてのビューを同等に扱うのではなく、最も関連性の高いビューのみをポイントクラウドと統合することで、性能が向上するか？
• RQ3 提案された関係ベースの統合は、ラテント統合や均一なマルチビュー統合と比較して、3次元形状認識においてどのように優れているか？
• RQ4 PVRNetは、欠損したビューまたはポイントクラウドデータに対してどの程度ロバストであるか？

主な発見

• PVRNetはModelNet40で全体精度93.61%を達成し、最先端の手法を最大1%の全体精度向上および0.8%の平均クラス精度向上で上回っている。
• ポイント-複数ビュー統合の性能は、関係性の高いビューを順次追加することで92.84%から93.61%へと段階的に向上し、関係ベースの選択の有効性が裏付けられている。
• 4つのビューのみを用いてもPVRNetは91%以上の精度を維持し、12ビュー入力と比較して2.1%の低下にとどまるが、MVCNNとGVCNNはそれぞれ5.3%および2.3%の低下を示している。
• ポイントクラウドデータを256点に削減しても、PVRNetは約80%の精度を維持するのに対し、DGCNNは約50%まで低下するため、欠損ポイントに対する強いロバスト性を示している。
• 関係スコアの可視化により、スコアが高いビューはより情報が多く、ポイントクラウドとよりよく整合していることが確認され、スコアモジュールが意味のある相関関係を捉えられることの妥当性が裏付けられた。
• アブレーションスタディの結果、ポイント-単一ビュー統合とポイント-複数ビュー統合の両方のブランチが性能向上に顕著に寄与しており、多段階の関係モデリングの必要性が確認された。