[論文レビュー] RobustPointSet: A Dataset for Benchmarking Robustness of Point Cloud Classifiers

Saeid Asgari Taghanaki, Jieliang Luo+4 more|arXiv (Cornell University)|Nov 23, 2020

3D Shape Modeling and Analysis被引用数 11

ひとこと要約

本論文では、データ拡張に依存せずに、ノイズ、欠損部品、遮蔽、スパarsity、平行移動、回転の6つの未知の変換に対して点群分類器の性能を評価する、ModelNet40から派生したベンチマークデータセットであるRobustPointSetを紹介する。主な発見は、どのモデルもすべての変換に対して一貫して優れた性能を発揮するわけではないこと、および未知の変換に対してはデータ拡張による改善が限定的であることであり、現実の3次元データにおけるモデルの頑健性に顕著なギャップが存在することを示している。

ABSTRACT

The 3D deep learning community has seen significant strides in pointcloud processing over the last few years. However, the datasets on which deep models have been trained have largely remained the same. Most datasets comprise clean, clutter-free pointclouds canonicalized for pose. Models trained on these datasets fail in uninterpretible and unintuitive ways when presented with data that contains transformations "unseen" at train time. While data augmentation enables models to be robust to "previously seen" input transformations, 1) we show that this does not work for unseen transformations during inference, and 2) data augmentation makes it difficult to analyze a model's inherent robustness to transformations. To this end, we create a publicly available dataset for robustness analysis of point cloud classification models (independent of data augmentation) to input transformations, called RobustPointSet. Our experiments indicate that despite all the progress in the point cloud classification, there is no single architecture that consistently performs better -- several fail drastically -- when evaluated on transformed test sets. We also find that robustness to unseen transformations cannot be brought about merely by extensive data augmentation. RobustPointSet can be accessed through https://github.com/AutodeskAILab/RobustPointSet.

研究の動機と目的

• トレーニング時に存在しなかった入力変換に対して、点群分類モデルの頑健性を評価する手法の不足を解消すること。
• 公平で解釈可能な頑健性分析が可能な、データ拡張に依存しないデータセットの構築。
• 最先端のモデルが清浄なデータでは高い性能を示すが、変換を加えたテストセットでは顕著に性能を落とすことを実証的に示すこと。
• データ拡張が未知の変換に対する一般化性能を効果的に向上させないことを示すこと。
• 今後の3次元ディープラーニングにおける頑健性研究のための標準化されたベンチマークを確立すること。

提案手法

• 元のテストセットを6つの変換バージョンに拡張し、それぞれが異なる幾何的または欠損に基づく変換を適用する。
• 現実的であるように、ランダムノイズ、軸に平行な断片の削除による欠損部品、遮蔽、スパarsity、平行移動、回転を適用する。
• 2つの評価プロトコルを設計：変換済みセットにおける標準評価と、変換間での一般化をテストするリーブ・ワン・アウト検証。
• すべての実験で同じトレーニングセットを用いることで、テスト時の変換がモデル性能に与える影響を明確に分離する。
• 制御された条件下でベンチマークに用いるために、標準的な点群分類アーキテクチャ（例：PointNet、DGCNN、PointNet++）を採用する。
• 各変換タイプにおける分類精度を測定し、同じ設定下でモデルを比較することで、頑健性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 最先端の点群分類器は、トレーニング時に存在しなかった未知の変換に一般化できるか？
• RQ2 データ拡張は、点群分類における未知の変換に対する頑健性をどの程度向上させるか？
• RQ3 多様な変換に対して一貫して他のモデルを上回る性能を示すモデルアーキテクチャは存在するか？
• RQ4 ノイズ、欠損部品、遮蔽などの異なる種類の入力欠損が、モデル性能にどのように影響するか？
• RQ5 データ拡張に依存しないベンチマークデータセットは、より信頼性が高く解釈可能な頑健性評価を可能にするか？

主な発見

• PointNetとDGCNNは、元のテストセットでそれぞれ89.06%および92.52%の平均精度を達成したが、変換済みセットでは顕著に低下した。
• ノイズテストセットでは、PointNetの精度は74.72%に低下し、DGCNNは57.56%に低下した。これはノイズに対する頑健性の欠如を示している。
• 回転不変性を持つモデル（例：SPHnet、PRIN）ですら深刻な性能低下を示し、SPHnetはノイズセットで7.22%まで低下した。
• リーブ・ワン・アウト検証では、複数の変換タイプでトレーニングした場合、平均で最大10%程度のわずかな改善しか得られず、一般化の恩恵が限定的であることが示された。
• どのモデルも、すべての変換タイプに対して一貫して他のモデルを上回る性能を発揮するわけではないことが判明し、現在のアーキテクチャには普遍的な頑健性が欠如していることが明らかになった。
• すべての変換における平均精度は、PointNetで61.97%、DGCNNで60.74%に低下し、頑健性に配慮した設計の必要性が強く示された。