[論文レビュー] Learning Saliency Maps for Adversarial Point-Cloud Generation

Tianhang Zheng, Changyou Chen+2 more|arXiv (Cornell University)|Nov 28, 2018

3D Shape Modeling and Analysis参考文献 6被引用数 6

ひとこと要約

本稿では、重心方向への勾配ベースのシフトによって点の削除を近似することで、3次元点群のための可微分な方法を提案し、分類のためのポイント単位の重要度スコアを効率的に計算することを可能にする。この手法は、PointNet、PointNet++、DGCNNモデルにおいて、正確で一般化可能なサリエンシーマップを生成する。

ABSTRACT

3D point-cloud recognition with PointNet and its variants has received remarkable progress. A missing ingredient, however, is the ability to automatically evaluate point-wise importance w.r.t.\! classification performance, which is usually reflected by a saliency map. A saliency map is an important tool as it allows one to perform further processes on point-cloud data. In this paper, we propose a novel way of characterizing critical points and segments to build point-cloud saliency maps. Our method assigns each point a score reflecting its contribution to the model-recognition loss. The saliency map explicitly explains which points are the key for model recognition. Furthermore, aggregations of highly-scored points indicate important segments/subsets in a point-cloud. Our motivation for constructing a saliency map is by point dropping, which is a non-differentiable operator. To overcome this issue, we approximate point-dropping with a differentiable procedure of shifting points towards the cloud centroid. Consequently, each saliency score can be efficiently measured by the corresponding gradient of the loss w.r.t the point under the spherical coordinates. Extensive evaluations on several state-of-the-art point-cloud recognition models, including PointNet, PointNet++ and DGCNN, demonstrate the veracity and generality of our proposed saliency map. Code for experiments is released on \url{this https URL}.

研究の動機と目的

• 3次元点群認識モデルにおける自動的かつポイント単位の重要度評価の欠如に対処すること。
• 分類損失に対する各ポイントの寄与を反映するサリエンシーマップの生成を可能にすること。
• サリエンシーマップ計算の非可微分なポイント削除操作の可微分な近似を提供すること。
• 集約されたサリエンシーマップを用いて、ポイント群内の重要なポイントやセグメントを同定すること。
• PointNet、PointNet++、DGCNNのような最先端モデルに対して一般化可能であることを保証すること。

提案手法

• ポイントの削除を、重心方向への可微分変換を用いたポイントのシフトによって近似する。
• サリエンシーマップスコアは、各ポイントの位置（球面座標系における）に関する分類損失の勾配として計算される。
• 球面座標系の使用により、3次元点群幾何における安定的で意味のある勾配計算が可能になる。
• ポイントごとの勾配を集約することでサリエンシーマップが構築され、重要なポイントやセグメントが強調される。
• 離散的なポイント削除の代わりに連続的で勾配に優しい操作を用いることで、非可微分性を回避する。
• 本手法はPointNet、PointNet++、DGCNNを含む複数のモデルに適用され、広範な適用可能性が示された。

実験結果

リサーチクエスチョン

• RQ1 分類タスクにおける3次元点群のポイント単位の重要度スコアを効果的に割り当てる方法は何か？
• RQ2 サリエンシーマップ計算における非可微分なポイント削除操作に代わる、どのような可微分代替が可能か？
• RQ3 提案手法は、多様な点群モデルにおいて信頼性があり解釈可能なサリエンシーマップを生成できるか？
• RQ4 サリエンシーマップスコアは、実際のモデル性能や点群内の重要な領域とどの程度相関するか？
• RQ5 本手法は、PointNet、PointNet++、DGCNNのような異なるアーキテクチャにどの程度一般化可能か？

主な発見

• 提案手法は、分類損失に対するポイント単位の寄与を正確に反映するサリエンシーマップを効果的に生成した。
• 可微分なポイントシフト近似により、離散的ポイント削除に依存せずに安定的かつ効率的な勾配計算が可能になった。
• サリエンシーマップは重要なポイントやセグメントを強調し、モデル意思決定の解釈可能性を向上させた。
• PointNet、PointNet++、DGCNNを含む複数の最先端モデルにおいて、本手法は優れた性能と一貫性を示した。
• サリエンシーマップは頑健で一般化可能であり、個々のアーキテクチャを越えて本手法の有効性が示された。
• 本手法のコードは公開されており、再現性とさらなる研究を支援している。