[論文レビュー] Adaptive Hierarchical Down-Sampling for Point Cloud Classification

Ehsan Nezhadarya, Ehsan Taghavi+3 more|arXiv (Cornell University)|Apr 11, 2019

3D Shape Modeling and Analysis参考文献 30被引用数 7

ひとこと要約

本論文は、ポイントクラウド分類のための、決定的で、適応的かつ順列不変なダウンサンプリング層である、臨界点層（Critical Points Layer, CPL）を提案する。ランダムまたはk-NNベースの手法とは異なり、CPLはダウンサンプリング中に最も重要な（臨界的な）点を学習的に保持するため、計算コストを低減しつつも高い精度の3次元物体分類を実現する。CPLを用いて構築されたCP-Netは、ModelNet40で92.41%の精度を達成し、最先端の手法を上回りながらも効率性を維持している。

ABSTRACT

While several convolution-like operators have recently been proposed for extracting features out of point clouds, down-sampling an unordered point cloud in a deep neural network has not been rigorously studied. Existing methods down-sample the points regardless of their importance for the output. As a result, some important points in the point cloud may be removed, while less valuable points may be passed to the next layers. In contrast, adaptive down-sampling methods sample the points by taking into account the importance of each point, which varies based on the application, task and training data. In this paper, we propose a permutation-invariant learning-based adaptive down-sampling layer, called Critical Points Layer (CPL), which reduces the number of points in an unordered point cloud while retaining the important points. Unlike most graph-based point cloud down-sampling methods that use $k$-NN search algorithm to find the neighbouring points, CPL is a global down-sampling method, rendering it computationally very efficient. The proposed layer can be used along with any graph-based point cloud convolution layer to form a convolutional neural network, dubbed CP-Net in this paper. We introduce a CP-Net for $3$D object classification that achieves the best accuracy for the ModelNet$40$ dataset among point cloud-based methods, which validates the effectiveness of the CPL.

研究の動機と目的

• 既存のダウンサンプリング手法がランダムまたはヒューリスティックに点を破棄するという限界に対処し、重要な幾何的情報を損なう可能性を低減すること。
• タスク固有の臨界的な点を学習的に保持できる、決定的で、順列不変かつ適応的なダウンサンプリング層を設計すること。
• 提案された層を3次元物体分類のためのディーブラーニングアーキテクチャに統合し、計算負荷を低減しつつ精度を向上させること。
• ポイントクラウド処理パイプラインにおけるランダムまたはk-NNベースのダウンサンプリングに代わる、より効率的で信頼性の高い代替手法を提供すること。

提案手法

• 各点に対して学習可能な重要度スコアを計算する、グローバルで決定的かつ順列不変なダウンサンプリング層、臨界点層（CPL）を提案する。
• CPLは微分可能アテンションメカニズムを用いて各点の重要度スコアを計算し、ダウンサンプリング操作を逆伝播可能にする。
• 上位k個の重要度スコアが高い点を選択することで、グローバルなダウンサンプリングを実現し、出力が入力点群の部分集合であることを保証する。
• 臨界点の選択をさらに精緻化するために、学習可能な重みを用いる拡張版、重み付きCPL（WCPL）を導入する。
• CPLおよびWCPLを統合した階層的ネットワークアーキテクチャ、CP-Netを構築し、3次元特徴学習のためにグラフベースの畳み込み層と組み合わせる。
• 交差エントロピー損失を用いてCP-Net全体をエンドツーエンドで訓練することで、ダウンサンプリング層がタスク固有の臨界点を適応的に学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 決定的で、適応的なダウンサンプリング層は、ランダムまたはk-NNベースの手法よりも、順序なしポイントクラウドにおける臨界的な幾何的特徴をより効果的に保持できるか？
• RQ2 分類精度と推論効率の観点から、提案されたCPL層は既存のダウンサンプリング手法と比べてどのように差をつけるか？
• RQ3 CPLのグローバル性は、近隣点に基づくダウンサンプリング手法と比較して、計算複雑度をどの程度低減するか？
• RQ4 CP-Netという深層ネットワークアーキテクチャにCPLを統合することで、標準的な3次元物体分類ベンチマークで最先端の性能が達成できるか？

主な発見

• CP-NetはModelNet40データセットで92.41%の分類精度を達成し、PointNet（89.20%）およびDGCNN（91.84%）を上回っているが、ボトルネックサイズはより大きい。
• ボトルネックサイズがたった64であっても、CP-Netは1024次元のボトルネックを用いたPointNetを上回る89.35%の精度を達成している。
• ダウンサンプリング比の変更が精度にほとんど影響しない：CPLを用いて1024点から64点に減少させても、精度はたった0.73%しか低下しない。これは優れた特徴保持能力を示している。
• CPLをランダムダウンサンプリングに置き換えた場合、1/4のダウンサンプリング比でCP-Netの精度は91.47%に低下する。これは、適応的選択の優位性を示している。
• CP-NetはP100 GPU上で1バッチあたり118.9 msで実行され、PointNet++（232.2 ms）およびDGCNN（134.5 ms）を上回っているが、モデルサイズが57 MBとやや大きい。
• 提案手法は決定的かつ順列不変であり、同じ入力に対して一貫した推論出力を保証する。これは、ランダムサンプラーとは対照的である。