[論文レビュー] SoftPoolNet: Shape Descriptor for Point Cloud Completion and Classification

Yida Wang, David Joseph Tan+2 more|arXiv (Cornell University)|Aug 17, 2020

3D Shape Modeling and Analysis参考文献 26被引用数 5

ひとこと要約

SoftPoolNetは、ポイントクラウド処理における特徴抽出を向上させるために、新規のソフトプーリング機構と領域別畳み込みを導入した。これにより、3次元ポイントクラウドの完成および分類において最先端の性能を達成する。複数の高活性化特徴を保持し、領域認識型のデコンボリューションに類似した処理を実行することで、従来の手法に比べて優れた再構成忠実度と効率性を実現する。

ABSTRACT

Point clouds are often the default choice for many applications as they exhibit more flexibility and efficiency than volumetric data. Nevertheless, their unorganized nature -- points are stored in an unordered way -- makes them less suited to be processed by deep learning pipelines. In this paper, we propose a method for 3D object completion and classification based on point clouds. We introduce a new way of organizing the extracted features based on their activations, which we name soft pooling. For the decoder stage, we propose regional convolutions, a novel operator aimed at maximizing the global activation entropy. Furthermore, inspired by the local refining procedure in Point Completion Network (PCN), we also propose a patch-deforming operation to simulate deconvolutional operations for point clouds. This paper proves that our regional activation can be incorporated in many point cloud architectures like AtlasNet and PCN, leading to better performance for geometric completion. We evaluate our approach on different 3D tasks such as object completion and classification, achieving state-of-the-art accuracy.

研究の動機と目的

• 深層学習パイプラインにおける順序なし・非構造的なポイントクラウドを処理する課題に対処すること。
• 部分的なポイントクラウドから高忠実度で詳細な再構成を生成することで、3次元形状の完成を向上させること。
• AtlasNet や PCN などの既存アーキテクチャと互換性を持つ汎用的な特徴学習フレームワークの開発。
• ボリュームメトリック手法と比較して計算コストとメモリ使用量を低減しつつ、性能を維持または向上させること。
• 領域活性化に基づくプーリングにより、順序不変で頑健な特徴抽出を実現すること。

提案手法

• マックスプーリングの代替としてソフトプーリングを導入し、最大値のみではなく複数の高活性化特徴を保持する。
• デコーダーで領域別畳み込みを採用することで、グローバル活性化エントロピーを向上させ、細粒度の詳細回復を改善する。
• PCNにインspiredされたパッチ変形操作を導入し、ポイントクラウド上でデコンボリューションに類似した挙動をシミュレートする。
• 再構成をガイドするため、領域間、領域内、境界、形状保持の複数損失を組み合わせたマルチ損失訓練方式を採用する。
• 活性化パターンに基づいて特徴をグループ化する学習可能な領域割り当てメカニズムを統合し、構造的な特徴学習を可能にする。
• 微分可能で順序不変なアーキテクチャを設計し、生のポイントクラウド上でエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソフトプーリングにより、最大値のみではなく複数の高活性化特徴を保持することで、ポイントクラウドネットワークにおける特徴表現が向上するか？
• RQ2 標準的な畳み込みと比較して、領域別畳み込みは3次元形状完成の品質をどのように向上させるか？
• RQ3 提案手法は、AtlasNet や PCN などの異なるポイントクラウドアーキテクチャにどの程度一般化可能か？
• RQ4 ソフトプーリングと領域別畳み込みの組み合わせにより、細い構造部における再構成忠実度と詳細回復が向上するか？
• RQ5 ボリュームメトリックおよびポイントベースのベースラインと比較して、推論速度とメモリ効率はどの程度優れているか？

主な発見

• ModelNet40分類タスクにおいて92.28%の精度を達成し、RS-PointNet や RS-DGCNN などの先行手法を上回った。
• ShapeNet部品分類ベンチマークでは84.32%の精度に達し、比較されたすべての手法を上回った。
• 8つの領域を用いた場合、Chamfer Distanceが5.94×10⁻³に低下し、優れた幾何的再構成品質を示した。
• すべてのポイントクラウドおよびボリュームメトリック手法の中で最も低い推論時間（0.04秒）を達成し、FoldingNet や PCN でさえも上回った。
• アブレーションスタディにより、領域間、領域内、境界、形状保持の各損失成分が最適性能を発揮するために不可欠であることが確認された。
• 入力ポイントのシャッフルに対しても一貫した再構成品質を示しており、順序不変性が維持されていることが実証された。