[論文レビュー] 3DeformRS: Certifying Spatial Deformations on Point Clouds

Gabriel Pérez S., Juan C. Pérez+3 more|arXiv (Cornell University)|Apr 12, 2022

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

3DeformRS は、回転、平行移動、ねじり変形などの現実的空間変形に対して、3次元点群ディープニューラルネットワーク（DNN）の頑健性を認証するフレームワークを導入する。ランダム化スムージング（RS）パラダイムを3次元幾何に適応させることで、最小限の精度低下で認証可能な頑健性マージンを提供し、トレーニング時のオーグメンテーションがクロス変形頑健性を顕著に向上させつつ、高いクリーン精度を維持することを示している。

ABSTRACT

3D computer vision models are commonly used in security-critical applications such as autonomous driving and surgical robotics. Emerging concerns over the robustness of these models against real-world deformations must be addressed practically and reliably. In this work, we propose 3DeformRS, a method to certify the robustness of point cloud Deep Neural Networks (DNNs) against real-world deformations. We developed 3DeformRS by building upon recent work that generalized Randomized Smoothing (RS) from pixel-intensity perturbations to vector-field deformations. In particular, we specialized RS to certify DNNs against parameterized deformations (e.g. rotation, twisting), while enjoying practical computational costs. We leverage the virtues of 3DeformRS to conduct a comprehensive empirical study on the certified robustness of four representative point cloud DNNs on two datasets and against seven different deformations. Compared to previous approaches for certifying point cloud DNNs, 3DeformRS is fast, scales well with point cloud size, and provides comparable-to-better certificates. For instance, when certifying a plain PointNet against a 3° z-rotation on 1024-point clouds, 3DeformRS grants a certificate 3x larger and 20x faster than previous work.

研究の動機と目的

• 回転、平行移動、ねじり変形などの現実的空間変形に対して、3次元点群DNNの認証可能な頑健性手法の欠如に対処すること。
• 元来ピクセル強度の摂動を想定して開発されたランダム化スムージング（RS）フレームワークを、点の位置が入力として内在する3次元幾何変換に適応すること。
• 特定の変形を用いたデータオーグメンテーションが、クリーン精度を損なわずにクロス変形頑健性を向上させるかを評価すること。
• 安全で重要な3次元ビジョンシステム（自動車や外科用ロボットなど）に適用可能な理論的根拠に基づいたスケーラブルな認証手法を提供すること。
• 物理的に意味のある変形（例：回転）と構造のないノイズ（例：ガウスノイズ）を区別し、意味的に意識された摂動のみが信頼性のある頑健性をもたらすことを示すこと。

提案手法

• 点群幾何の入力摂動として空間変形をモデル化することで、ランダム化スムージング（RS）フレームワークを3次元点群DNNに適応する。
• z回転、xyz回転、平行移動、ねじり変形などの幾何変換のための特別な認証手順を導入する。
• 予測を入力点群の複数の摂動版の平均化することで、頑健性保証を導出するスムージング戦略を採用する。
• 3次元幾何に特化したRSの理論的拡張を、補題1として形式化し、空間変形に対する認証可能な頑健性の境界を導出する。
• PointNet++ や DGCNN といった標準アーキテクチャにこの手法を適用し、複数の変形タイプにおける頑健性を評価する。
• クリーン精度とさまざまなオーグメンテーション・変形下での頑健性証明を用いた実験的評価により、頑健性を検証する。

Figure 1 : Relative improvements on ACR per augmentations

実験結果

リサーチクエスチョン

• RQ1 ランダム化スムージング（RS）フレームワークは、3次元点群DNNにおける現実的空間変形に対する頑健性を認証するために効果的に拡張可能か？
• RQ2 特定の幾何的オーグメンテーションを用いた学習が、同じ変形および異なる変形に対するDNNの頑健性に与える影響は何か？
• RQ3 物理的に意味のある変形と構造のないノイズの両者を用いた場合、頑健性認証とクリーン精度のトレードオフはどの程度か？
• RQ4 回転やねじり変形などの変形を用いたデータオーグメンテーションが、クロス変形頑健性をどの程度向上させるか？
• RQ5 SO(3)変換に対してすでに頑健なモデル（例：ベクトルニューロンベースのネットワーク）に3DeformRSを適用することで、非剛体変形に対しても頑健性を拡張可能か？

主な発見

• 回転オーグメンテーションを用いたPointNet++およびDGCNNの学習は、回転だけでなくねじり変形に対しても顕著な頑健性向上をもたらし、クロス変形一般化を示した。
• 物理的に意味のある変形（例：回転、ねじり）をオーグメンテーションに用いることで、クリーン精度を損なわずに頑健性が向上したが、ガウスノイズは最大5.8%の精度低下を引き起こした。
• 変形固有のオーグメンテーションで学習したモデルでは、認証可能な頑健性マージンが一貫して高く、図1の対角成分の改善が、同じ変形タイプで最大20%の相対的向上を示した。
• フレームワークはスケーラビリティと効率性を示し、最小限の計算オーバーヘッドで、安全で重要なシステムへの実用的デプロイメントが可能であることを裏付けた。
• 非剛体変形（例：ねじり）に対しても認証可能な頑健性を達成したが、これはSO(3)不変モデルではカバーされない分野であり、本手法の広範な適用可能性を強調している。
• 攻撃による実験的タイトな境界は計算的に非現実的であったため、著者らは従来の研究と整合する標準的なRSベースの評価を採用した。