[論文レビュー] PointCloud Saliency Maps

Tianhang Zheng, Changyou Chen+3 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Neural Network Applications参考文献 30被引用数 7

ひとこと要約

本稿では、点群の重心に向かって勾配に基づくシフトによって点の削除を近似することで、微分可能である点群の重要度マップを生成する手法を提案する。この手法により、点レベルおよびサブセットレベルの重要度スコアリングが高精度かつ高効率に可能となり、PointNet、PointNet++、DGCNNモデルにおいて、点の削除をランダムまたは重要サブセットに基づく方法と比較して、モデルの精度を劣化させる際、より優れた忠実度で顕著な点や領域を特定できることを示した。

ABSTRACT

3D point-cloud recognition with PointNet and its variants has received remarkable progress. A missing ingredient, however, is the ability to automatically evaluate point-wise importance w.r.t.\! classification performance, which is usually reflected by a saliency map. A saliency map is an important tool as it allows one to perform further processes on point-cloud data. In this paper, we propose a novel way of characterizing critical points and segments to build point-cloud saliency maps. Our method assigns each point a score reflecting its contribution to the model-recognition loss. The saliency map explicitly explains which points are the key for model recognition. Furthermore, aggregations of highly-scored points indicate important segments/subsets in a point-cloud. Our motivation for constructing a saliency map is by point dropping, which is a non-differentiable operator. To overcome this issue, we approximate point-dropping with a differentiable procedure of shifting points towards the cloud centroid. Consequently, each saliency score can be efficiently measured by the corresponding gradient of the loss w.r.t the point under the spherical coordinates. Extensive evaluations on several state-of-the-art point-cloud recognition models, including PointNet, PointNet++ and DGCNN, demonstrate the veracity and generality of our proposed saliency map. Code for experiments is released on \url{https://github.com/tianzheng4/PointCloud-Saliency-Maps}.

研究の動機と目的

• 3次元点群分類における点単位の重要度を自動的に評価する手法の欠如に対処すること。
• 各点がモデルの予測損失に与える寄与度を定量化する汎用的な重要度マップを開発すること。
• 点の削除が非微分可能であるという問題を、連続的かつ微分可能なシフト手順による近似によって克服すること。
• 繰り返し点削除実験を通じて、性能の劣化または向上を伴う重要度マップの正確性を検証すること。
• 複数の最先端モデル（PointNet、PointNet++、DGCNNなど）において、ランダムおよび重要サブセットに基づく点削除戦略と比較して、本手法の優位性を示すこと。

提案手法

• 球面座標系において、点群の重心に向かって点を連続的にシフトすることで、非微分可能な点の削除を近似する。
• 各点の位置に関するモデルの損失関数の勾配として重要度スコアを計算する。
• 点の位置変位に対する勾配近似の感度を制御するスケーリング係数αを用いる。
• 反復的点削除アルゴリズムを適用する：重要度スコアが最も高い（high-drop）または最も低い（low-drop）点を削除して、重要度マップの正確性を検証する。
• 勾配計算中の幾何的整合性を保つために、各点の寄与度を球面座標で表現する。
• high-dropとランダムまたは重要サブセットに基づく削除の下での性能劣化を比較することで、重要度マップの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 点の削除の微分可能な近似は、3次元点群における点単位の重要度を効果的に推定できるか？
• RQ2 提案された重要度マップは、モデルの予測に顕著に影響を与える臨界点および臨界セグメントを正確に特定できるか？
• RQ3 重要度マップに基づく点削除戦略は、ランダムおよび重要サブセットに基づく戦略と比較して、モデル性能の劣化または向上においてどのように異なるか？
• RQ4 重要度マップは、PointNet、PointNet++、DGCNNなどの異なる3次元点群モデルに一般化可能か？
• RQ5 重要度スコアは、点群における人間の顕著構造認識と相関しているか？

主な発見

• 最高の重要度スコアを持つ200/1024個の点を削除した場合、3D-MNIST/ModelNet40におけるPointNetの精度はそれぞれ49.2%および44.3%に低下し、ランダム削除（94.8%および87.7%）と比較して顕著に優れた性能を示した。
• 重要サブセットに基づく戦略では、同じデータセットでPointNetの精度が80.0%および58.1%に低下した。これにより、本手法が臨界点をより正確に同定できていることが確認された。
• PointNet++では、1024個の点を削除した場合、本手法による精度低下はModelNet40で59.5%にとどまったが、ランダム削除では88–90%を維持した。これは、一貫した性能劣化を示している。
• DGCNNでは、1024個の点を削除した場合、精度は64.2%に低下したが、ランダム削除では89–91%を維持した。これにより、重要度マップがより関連のある構造的情報を捉えていることが示された。
• 可視化において、本手法はランプの基部など顕著なセグメントを正確に同定できた。これは人間の直感と一致した。
• low-drop（最低の重要度スコアを持つ点を削除）は、視覚的にノイズ除去に似ており、一部の誤分類を是正した。これにより、本手法がデータクリーニングの応用においても有効であることが確認された。