[論文レビュー] ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds

Kibok Lee, Zhuoyuan Chen+3 more|arXiv (Cornell University)|May 24, 2020

Adversarial Robustness in Machine Learning参考文献 69被引用数 7

ひとこと要約

ShapeAdvは、3D点群オートエンコーダーの潜在空間に摂動を注入することで、形状に配慮した adversarial 3D点群を生成する新しいフレームワークを提案する。これにより、元の形状の忠実性を保ちながら、現実的で構造的な変形が可能となる。本手法は、既存の点ベース攻撃と比較して、攻撃成功率が高く、分類器間での転送性が優れているほか、一般的な防御機構に対してもより高い耐性を示す。

ABSTRACT

We introduce ShapeAdv, a novel framework to study shape-aware adversarial perturbations that reflect the underlying shape variations (e.g., geometric deformations and structural differences) in the 3D point cloud space. We develop shape-aware adversarial 3D point cloud attacks by leveraging the learned latent space of a point cloud auto-encoder where the adversarial noise is applied in the latent space. Specifically, we propose three different variants including an exemplar-based one by guiding the shape deformation with auxiliary data, such that the generated point cloud resembles the shape morphing between objects in the same category. Different from prior works, the resulting adversarial 3D point clouds reflect the shape variations in the 3D point cloud space while still being close to the original one. In addition, experimental evaluations on the ModelNet40 benchmark demonstrate that our adversaries are more difficult to defend with existing point cloud defense methods and exhibit a higher attack transferability across classifiers. Our shape-aware adversarial attacks are orthogonal to existing point cloud based attacks and shed light on the vulnerability of 3D deep neural networks.

研究の動機と目的

• 点群に対する任意の点の摂動ではなく、現実的な形状変化を反映する、3Dディープニューラルネットワークの脆弱性を是正すること。
• 極端な歪みを避けるために、元の形状に近い幾何的・構造的変形を伴う adversarial 3D点群を生成する手法を開発すること。
• オートエンコーダーから学習された潜在空間を、形状に配慮した adversarial 摂動の多様体として活用することの可能性を探ること。
• 外れ値除去やオートエンコーダーに基づく防御といった、既存の防御機構に対するこれらの攻撃の耐性を評価すること。
• PointNet++ や DGCNN などの他のモデルに対する、提案された攻撃のブラックボックス転送性を向上させること。

提案手法

• 形状多様体を近似する、コンactで形状を代表する潜在空間を学習する非教師あり点群オートエンコーダーを活用する。
• 3つのバリエーションを用いて潜在空間に adversarial 摂動を注入する：潜在空間 ℓ₂、チェンファーディスタンスに基づく、および補助ガイド付き形状モーフィング。
• 訓練済みのデコーダーを用いて、摂動を加えた潜在コードを3次元点群空間にマッピングし、幾何的偏差を最小限に抑えた adversarial 例を生成する。
• 同じカテゴリの補助点群を活用して形状変形をガイドし、類似した物体間のモーフィングに類似した変形を可能にする。
• ModelNet40ベンチマークを用いて、PointNet分類器上で攻撃を訓練・評価し、点のシフトやクラスターオブジェクト追加といったベースライン攻撃と比較する。
• 疎な外れ値除去（SOR）およびオートエンコーダーに基づく防御を用いて防御性能を評価し、ShapeAdvの両防御機構に対する耐性を分析する。

実験結果

リサーチクエスチョン

• RQ1 点群オートエンコーダーの潜在空間における adversarial 摂動は、元の形状の忠実性を保ちつつ、現実的な形状変化を生成できるか？
• RQ2 外れ値除去やオートエンコーダーに基づく防御を施した場合、形状に配慮した adversarial 攻撃は、既存の点ベース攻撃と比較してどれほど耐性を示すか？
• RQ3 PointNet++ や DGCNN、および異なる重み初期化を用いた PointNet といった、異なる3D点群分類器間での ShapeAdv 攻撃の転送性はどの程度か？
• RQ4 オートエンコーダーのアーキテクチャの選択（MLP 対 AtlasNet）が、adversarial 摂動の性質および検出可能性にどのように影響するか？
• RQ5 学習された潜在空間は、攻撃生成に加え、逆に adversarial ノイズを再構成・フィルタリングすることで防御にも活用可能か？

主な発見

• ShapeAdv 攻撃は、幾何的偏差を最小限に抑えつつ、PointNet に対して100%の攻撃成功率を達成し、防御機構に対する耐性がベースライン攻撃を上回っている。
• グローバルな幾何的変形を引き起こすMLPベースのShapeAdvバージョンは、局所的な表面変形を引き起こすAtlasNetベースのバージョンよりも、はるかに防御しにくい。
• ShapeAdvで生成された adversarial 点群は、他のモデルへの転送性が高く、PointNet++ では24.7%、DGCNN では23.5%の成功率を示し、すべてのベースライン手法を上回っている。
• 疎な外れ値除去（SOR）やオートエンコーダーに基づくフィルタリングといった防御は、ShapeAdvに対しては効果が薄く、特にグローバルな形状変化を引き起こす攻撃では顕著である。
• 補助ガイド付きバージョンのShapeAdvは、同じカテゴリの物体間のモーフィングに類似した変形を示す adversarial 例を効果的に生成しており、形状に配慮した変形の実現を示している。
• クラスターやオブジェクトの追加攻撃と比較して、ShapeAdvでは元の形状と adversarial 形状との間のチェンファーディスタンスが低く抑えられており、より優れた形状保持性を示している。