[論文レビュー] 3D Adversarial Attacks Beyond Point Cloud

Jinlai Zhang, Lyujie Chen+6 more|arXiv (Cornell University)|Apr 25, 2021

Adversarial Robustness in Machine Learning参考文献 53被引用数 5

ひとこと要約

本稿では、点群ではなくメッシュ表現を直接摂動する新しい3次元敵対的攻撃「Mesh Attack」を提案する。微分可能サンプリングモジュールと3つのメッシュ正則化損失（チェンファーロス、ラプラシアン損失、エッジ長損失）を導入することで、滑らかで印刷可能な敵対的メッシュを生成し、デジタルおよび物理的状況の両方で最先端の点群ベース攻撃を上回る性能を達成し、複数の防御機構下でもSOTA性能を発揮する。

ABSTRACT

Recently, 3D deep learning models have been shown to be susceptible to adversarial attacks like their 2D counterparts. Most of the state-of-the-art (SOTA) 3D adversarial attacks perform perturbation to 3D point clouds. To reproduce these attacks in the physical scenario, a generated adversarial 3D point cloud need to be reconstructed to mesh, which leads to a significant drop in its adversarial effect. In this paper, we propose a strong 3D adversarial attack named Mesh Attack to address this problem by directly performing perturbation on mesh of a 3D object. In order to take advantage of the most effective gradient-based attack, a differentiable sample module that back-propagate the gradient of point cloud to mesh is introduced. To further ensure the adversarial mesh examples without outlier and 3D printable, three mesh losses are adopted. Extensive experiments demonstrate that the proposed scheme outperforms SOTA 3D attacks by a significant margin. We also achieved SOTA performance under various defenses. Our code is available at: https://github.com/cuge1995/Mesh-Attack.

研究の動機と目的

• 点群ベースの摂動がメッシュに再構築された際に著しく劣化する、3次元敵対的攻撃における物理的実現可能性のギャップを解消すること。
• メッシュから点群への再構築パイプラインを通しても強力な騙し能力を維持するメッシュベースの敵対的攻撃を開発すること。
• 生成された敵対的メッシュが滑らかで印刷可能であり、SORのような防御フィルタをトリガーする可能性の高い外れ値を含まないことを保証すること。
• 複数の最先端防御機構下での攻撃の耐性を評価すること。
• これまで未解決の攻撃表面であった、メッシュ分類器へのメッシュベース敵対的例の転送性を実証すること。

提案手法

• 攻撃は、点群再構築を回避するために、勾配ベース最適化を用いて直接メッシュ頂点位置を最適化する。
• 微分可能サンプリングモジュールにより、点群分類器の損失からメッシュ頂点へバックプロパゲーションが可能になり、エンドツーエンド学習が可能になる。
• 3つの正則化損失を適用する：幾何的忠実度を保つためのチェンファーロス、メッシュの滑らかさを維持するためのラプラシアン損失、自己干渉や頂点の浮遊を防ぐためのエッジ長損失。
• 反復的最適化スキームを用いて、メッシュ頂点を更新し、誤分類を最大化すると同時に幾何的歪みを最小化する。
• 点群攻撃で一般的な外れ値を含む摂動を避けることで、敵対的例が3Dプリント可能であることを保証する。
• 複数の防御機構下で検証され、メッシュ分類器のブラックボックス設定でもテストされている。

Figure 1 : Motivation. Adversarial examples crafted by the KNN attack [ 36 ] , the $GeoA^{3}$ attack [ 43 ] and our proposed Mesh Attack on the Pointnet [ 26 ] . The $Adv_{pc}$ and $Adv_{mesh}$ denote the adversarial point cloud and the adversarial mesh, respectively. The $Adv_{mesh}$ of KNN attack

実験結果

リサーチクエスチョン

• RQ1 3次元メッシュ上の敵対的攻撃は、物理的適用性において、既存の点群ベース攻撃を上回ることができるか？
• RQ2 点群分類器からの勾配を効果的にメッシュ頂点へバックプロパゲートすることで、直接的なメッシュ最適化が可能になるか？
• RQ3 メッシュ固有の正則化損失が、敵対的例の物理的実現可能性と耐性にどの程度寄与するか？
• RQ4 SOR、SRS、DUP-Net、IF-Defenseといった最先端の点群防御機構下で、提案手法の効果はどの程度か？
• RQ5 メッシュ上で生成された敵対的例は、実際にメッシュベースの深層学習モデルに転送され、騙すことができるか？

主な発見

• Mesh Attackは、疑似物理的状況下でPointNetに対して100%の攻撃成功率を達成し、KNNおよびGeoA³攻撃が10%未満に低下するのとは対照的に顕著に優れた性能を示した。
• IF-Defense下でも、DGCNNに対して63.83%の成功率を維持し、比較されたすべての攻撃（含む点摂動攻撃）を上回った。
• SORおよびSRS防御下でも、外れ値を含まないメッシュベースの例のおかげで、外れ値に敏感な点群攻撃に対して効果的であるとされる防御機構でも効果を示した。
• ブラックボックス転送攻撃では、MeshNetで27.19%の誤分類率を達成し、メッシュ分類器への転送性を実証した。
• チェンファーロス、ラプラシアン損失、エッジ長損失の組み合わせにより、自己干渉や浮遊頂点といったメッシュアーティファクトが効果的に防止され、3Dプリント可能が保証された。
• 結果から、点群ベース攻撃よりもメッシュベース攻撃ははるかに防御しにくく、3次元敵対的耐性分野における新たなフロンティアであることが示された。

Figure 2 : Comparison between our Mesh Attack (top row) and previous point cloud attacks (bottom row) in pseudo physical scenarios. $R$ denotes the process of reconstructing mesh from the point cloud. $S$ denotes the process of the sampling point cloud from mesh surface. $P$ denotes point cloud clas