[論文レビュー] PointDP: Diffusion-driven Purification against Adversarial Attacks on 3D Point Cloud Recognition

J. F. Sun, Weili Nie+3 more|arXiv (Cornell University)|Aug 21, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

PointDPは、逆ノイズ除去プロセスを活用して敵対的摂動を除去する、3次元点群認識モデル向けの拡散ベースの浄化防御を提案する。強力な適応的攻撃下で6つのモデルに対して平均75.9%のロバスト正答率を達成し、IF-DefenseおよびLPCに対してそれぞれ平均12.6%および40.3%の顕著な優位性を示した。

ABSTRACT

3D Point cloud is becoming a critical data representation in many real-world applications like autonomous driving, robotics, and medical imaging. Although the success of deep learning further accelerates the adoption of 3D point clouds in the physical world, deep learning is notorious for its vulnerability to adversarial attacks. In this work, we first identify that the state-of-the-art empirical defense, adversarial training, has a major limitation in applying to 3D point cloud models due to gradient obfuscation. We further propose PointDP, a purification strategy that leverages diffusion models to defend against 3D adversarial attacks. We extensively evaluate PointDP on six representative 3D point cloud architectures, and leverage 10+ strong and adaptive attacks to demonstrate its lower-bound robustness. Our evaluation shows that PointDP achieves significantly better robustness than state-of-the-art purification methods under strong attacks. Results of certified defenses on randomized smoothing combined with PointDP will be included in the near future.

研究の動機と目的

• 勾配遮断による影響を受ける標準的な敵対的訓練の3次元点群モデルにおける限界を特定すること。
• IF-Defense や LPC のような既存の浄化手法が強力な適応的攻撃に対して脆弱であることを解消すること。
• 多様な3次元敵対的攻撃に対して耐性を高める、新規の拡散駆動浄化フレームワーク PointDP を提案すること。
• 6つの3次元アーキテクチャおよび16種類以上の攻撃タイプ（適応的およびブラックボックス手法を含む）に対して PointDP を厳密に評価すること。
• 拡散ベースの浄化が、先行する最先端の防御手法よりも強い実証的耐性を提供することを示すこと。

提案手法

• PointDPは2段階のプロセスを導入する：まず入力点群を前向きの拡散プロセスでノイズに変換し、次に逆方向のプロセスで浄化された点群を回復する。
• 逆プロセスは、事前に学習された3次元拡散モデルを活用して段階的にノイズ除去を行い、摂動を効果的に除去する。
• 評価時の勾配ベース攻撃を可能にするために、拡散モデルの確率微分方程式（SDE）定式化を逆伝播可能にするために随伴法（adjoint method）を採用する。
• 各ノイズ除去ステップにおける拡散モデルの固有の確率性が、勾配ベースの適応的攻撃が勾配を正確に推定できないように妨げる。
• PointDPは、クリーンな正答率を維持しながら耐性を著しく向上させる、後処理型の浄化モジュールとして適用される。
• 複数の攻撃設定下でフレームワークを評価しており、$ε$-有界な$ε_{\infty}$、$ε_{2}$、$ε_{0}$ 攻撃に加え、SPSA や Nattack といったブラックボックス手法も含む。

実験結果

リサーチクエスチョン

• RQ1 標準的な敵対的訓練は、3次元点群モデルにおいて強力なブラックボックスおよび適応的攻撃に対して耐性を提供するか？
• RQ2 IF-Defense や LPC のような浄化手法は、3次元点群環境下で高度な適応的攻撃に耐えられるか？
• RQ3 拡散ベースの浄化フレームワークは、既存の最先端手法よりも高い耐性を達成できるか？
• RQ4 BPDA-PGD や EOT-AutoAttack のような強力な適応的攻撃下で PointDP はどの程度効果的か？
• RQ5 拡散プロセスの確率性がブラックボックスおよび勾配ベースの適応的攻撃をどの程度妨げるか？

主な発見

• PointDP は、強力な適応的攻撃下で6つの3次元モデルに対して平均75.9%のロバスト正答率を達成し、IF-Defense や LPC を顕著に上回った。
• $ε_{\infty} = 0.05$ の条件下で、PointNet から DGCNN までで 77.1% から 79.2% のロバスト正答率を達成し、IF-Defense より平均で12.6%高い。
• $ε_{\infty} = 1.25$ の条件下で、71.2% から 79.6% のロバスト正答率を維持し、LPC より平均で40.3%高い。
• 最も強力な適応的攻撃、BPDA-PGD に対しても、すべてのモデルで70%を超えるロバスト正答率を維持し、耐性を示した。
• ブラックボックス攻撃（SPSA や Nattack）は著しく効果が低く、拡散モデルの確率性が勾配推定を妨げていることが示された。
• 本研究では、標準的な敵対的訓練が3次元点群モデルにおいて勾配遮断を引き起こし、ブラックボックス攻撃下でロバスト正答率が約10%にまで低下することを明らかにした。