[論文レビュー] Deflecting 3D Adversarial Point Clouds Through Outlier-Guided Removal.

Hang Zhou, Kejiang Chen+4 more|arXiv (Cornell University)|Dec 25, 2018

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、3次元点群分類のための防御手法DUP-Netを提案する。この手法は、微分不能なノイズ除去（SOR）とデータ駆動型アップサンプリングネットワークを組み合わせ、滑らかな表面を再構築する。PointNetにおける200点の点損失を伴うC&Wおよびl₂ベースの敵対的攻撃（点のシフト）に対して83.8%の効果を示し、白ボックス攻撃に対して強い耐性を示す。

ABSTRACT

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose a Denoiser and UPsampler Network (DUP-Net) structure as defenses for 3D adversarial point cloud classification, where the two modules reconstruct surface smoothness by dropping or adding points. In this paper, statistical outlier removal (SOR) and a data-driven upsampling network are considered as denoiser and upsampler respectively. Compared with baseline defenses, DUP-Net has three advantages. First, with DUP-Net as a defense, the target model is more robust to white-box adversarial attacks. Second, the statistical outlier removal provides added robustness since it is a non-differentiable denoising operation. Third, the upsampler network can be trained on a small dataset and defends well against adversarial attacks generated from other point cloud datasets. We conduct various experiments to validate that DUP-Net is very effective as defense in practice. Our best defense eliminates 83.8% of C&W and l_2 loss based attack (point shifting), 50.0% of C&W and Hausdorff distance loss based attack (point adding) and 9.0% of saliency map based attack (point dropping) under 200 dropped points on PointNet.

研究の動機と目的

• セキュリティが重要な応用分野における3次元ディープラーニングモデルの敵対的点群攻撃に対する脆弱性を是正すること。
• 白ボックスおよび転送可能な敵対的攻撃の両方に対して耐性を高める防御機構を開発すること。
• 勾配ベースの最適化を必要とせず、非微分可能な統計的外れ値除去（SOR）を活用して耐性を向上させること。
• 異なる点群データセットに一般化可能な軽量でトレーニング可能なアップサンプラー・ネットワークを用いて効果的な防御を実現すること。
• 点の損失、シフト、追加を伴う現実的な攻撃シナリオ下での防御効果を検証すること。

提案手法

• DUP-Netという防御フレームワークは、局所的な点密度に基づいて外れ値を特定・除去することで、敵対的点をフィルタリングする統計的外れ値除去（SOR）モジュールを統合する。
• 学習可能なアップサンプリングネットワークを用いて、スパースな領域に点を追加することで、敵対的摂動によって失われた幾何学的構造を再構築する。
• SOR部は非微分可能であり、逆伝播中に勾配ベースの敵対的攻撃の効果を低下させることで耐性を高める。
• アップサンプリングネットワークは、異なる点群分布に一般化できるよう、小規模で多様なデータセットでトレーニングされる。
• 2つのモジュール（ノイズ除去器（SOR）とアップサンプラー）は順番に適用される：まずSORが疑わしい点を除去し、次にアップサンプラーが表面幾何を回復させる。
• C&Wのl₂損失、ハウスドルフ距離損失、およびサリエンシー・マップベースの攻撃を含む、さまざまな敵対的攻撃タイプに対して、PointNet上でエンドツーエンドで評価される。

実験結果

リサーチクエスチョン

• RQ1 非微分可能なノイズ除去ステップ（SOR）は、3次元点群分類器に対する白ボックス敵対的攻撃の耐性を向上させ得るか？
• RQ2 軽量でデータ駆動型のアップサンプリングネットワークは、敵対的点の除去後に幾何学的忠実性をどの程度回復できるか？
• RQ3 DUP-Netは、異なる点群データセットから生成された転送可能な敵対的攻撃に対し、どの程度効果的に防御できるか？
• RQ4 SORと学習可能なアップサンプリングの組み合わせは、3次元分類モデル全体の耐性にどのような影響を及ぼすか？
• RQ5 異なる攻撃タイプにおいて、200点の敵対的点（例：点の損失）を想定した条件下で、DUP-Netはどの程度の性能を示すか？

主な発見

• DUP-Netは、点のシフトを伴うC&Wおよびl₂損失ベースの敵対的攻撃に対して、PointNetにおける200点の点損失条件下で83.8%の効果を示し、強い耐性を示す。
• 同じ200点の摂動条件下で、C&Wおよびハウスドルフ距離損失ベースの攻撃（点の追加を伴う）の成功確率は50.0%低下した。
• 点の損失を伴うサリエンシー・マップベースの攻撃に対しては、DUP-Netは依然として9.0%の攻撃回避成功率を達成しており、摂動の性質にもかかわらず部分的な耐性を示す。
• 非微分可能なSOR部材は耐性に大きく貢献しており、勾配ベースの敵対的最適化が防御を効果的に標的にできないようにしている。
• アップサンプリングネットワークは良好に一般化され、敵対的例がアップサンプラーのトレーニングに使用されたデータセットとは異なるものであっても、効果的な防御が可能である。
• 総合的に、SORと学習可能なアップサンプリング機構の相乗効果により、DUP-Netは特に白ボックス攻撃のシナリオにおいて、ベースライン防御を上回る耐性を示した。