[論文レビュー] PointCutMix: Regularization Strategy for Point Cloud Classification

Jinlai Zhang, Lyujie Chen+6 more|arXiv (Cornell University)|Jan 5, 2021

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

PointCutMixは、最適輸送を用いて2つの点群間で点を最適に割り当て・置き換えることで合成学習サンプルを生成する、3次元点群分類のための新規データ拡張戦略である。モデルの精度と耐性を顕著に向上させ、計算コストを最小限に抑えながら、最先端の攻撃防御手法を上回る性能を発揮する。

ABSTRACT

As 3D point cloud analysis has received increasing attention, the insufficient scale of point cloud datasets and the weak generalization ability of networks become prominent. In this paper, we propose a simple and effective augmentation method for the point cloud data, named PointCutMix, to alleviate those problems. It finds the optimal assignment between two point clouds and generates new training data by replacing the points in one sample with their optimal assigned pairs. Two replacement strategies are proposed to adapt to the accuracy or robustness requirement for different tasks, one of which is to randomly select all replacing points while the other one is to select k nearest neighbors of a single random point. Both strategies consistently and significantly improve the performance of various models on point cloud classification problems. By introducing the saliency maps to guide the selection of replacing points, the performance further improves. Moreover, PointCutMix is validated to enhance the model robustness against the point attack. It is worth noting that when using as a defense method, our method outperforms the state-of-the-art defense algorithms. The code is available at:https://github.com/cuge1995/PointCutMix

研究の動機と目的

• 深層学習における3次元点群データセットのスケールの小ささと一般化性能の低さに対処する。
• 形状の複雑さを保持し、モデルの一般化性能を向上させるデータ拡張戦略を開発する。
• 特に点の削除および摂動攻撃に対して、モデルの耐性を強化する。
• 敵対的入力を変更せずに、PointCutMixを防御メカニズムとして応用することを検討する。
• 本手法をオブジェクトレベル分類およびポイントワイズセグメンテーションの両タスクに拡張する。

提案手法

• 最適輸送（MSNを介して）を用いて、2つの点群間の最良の点対応を計算する。
• 2つの置換戦略を提案する：PointCutMix-R（すべての点をランダム選択）およびPointCutMix-K（ランダム点のk近傍点）。
• 重要度マップを統合して、置換点の選択をガイドし、性能を向上させる。
• 訓練中に、2つの点群の構造的要素を組み合わせた混合サンプルを生成する。
• PointCutMixで事前学習されたモデルを、敵対的点群攻撃に対する防御メカニズムとして活用する。
• 敵対的入力を変更せずに、点の削除、kNN、摂動攻撃などさまざまな攻撃に対して耐性を評価する。

Figure 1: Some mixed samples produced by PointCutMix-R (top row) and PointCutMix-K (bottom row). The data generated by PointCutMix-R looks like two objects cross each other while the samples from PointCutMix-K are the obvious combination of two object parts.

実験結果

リサーチクエスチョン

• RQ1 CutMixのような混合サンプルデータ拡張戦略を、順序なしの3次元点群データに効果的に適応できるか？
• RQ2 異なる置換戦略（ランダム対k-NN）が、点群分類におけるモデルの性能と耐性に与える影響は何か？
• RQ3 PointCutMixは、ModelNet40 や ModelNet10 のような小規模点群データセットにおける一般化性能を向上させられるか？
• RQ4 PointCutMixは、特に防御として用いられた場合、点群攻撃に対するモデルの耐性をどの程度向上させられるか？
• RQ5 重要度マップを組み込むことで、置換点選択の効果がさらに向上するか？

主な発見

• PointCutMix-R および PointCutMix-K は、複数のバックボーンネットワークを用いて ModelNet40 および ModelNet10 で一貫して分類精度を向上させる。
• PointCutMixは、点群セグメンテーションにおけるレアカテゴリの性能を顕著に向上させ、クラス不均衡の緩和に寄与する。
• PointCutMixで学習されたモデルは、点の削除攻撃に対しても80％以上の精度を維持し、ベースラインの IF-Defense よりも顕著に優れる。
• PointCutMix-R は、kNNおよび摂動攻撃に対する防御で2位の性能を達成し、SOTA手法に非常に近い結果を示す。
• 敵対的点群の変換を必要とせず、最先端の防御アルゴリズムを上回る性能を発揮するため、より効率的で自然な手法である。
• 重要度マップを用いた置換により、性能がさらに向上し、PointCutMixにおける注視度に配慮したサンプリングの価値が裏付けられる。

Figure 2: The visualization of the mixed samples between a plane and a chair under different replacement ratio $\lambda$ . The samples in the first and second row are generated by PointCutMix-R and PointCutMix-K respectively.