[論文レビュー] DUP-Net: Denoiser and Upsampler Network for 3D Adversarial Point Clouds Defense

Hang Zhou, Kejiang Chen+4 more|arXiv (Cornell University)|Dec 25, 2018

Adversarial Robustness in Machine Learning参考文献 48被引用数 17

ひとこと要約

DUP-Net は、ノイズ除去のための統計的外れ値除去（SOR）と、点群構造を回復するための学習可能アップサンプリングネットワーク（PU-Net）を組み合わせた、3次元敵対的ポイントクラウド向けの防御フレームワークである。PointNet における C&W ポイントシフト攻撃に対して 83.8% の防御効果を示し、ポイント追加攻撃に対しては 50.0% の防御効果を示しており、微分不能なノイズ除去と解像度向上により、強力な耐性を実現している。

ABSTRACT

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose a Denoiser and UPsampler Network (DUP-Net) structure as defenses for 3D adversarial point cloud classification, where the two modules reconstruct surface smoothness by dropping or adding points. In this paper, statistical outlier removal (SOR) and a data-driven upsampling network are considered as denoiser and upsampler respectively. Compared with baseline defenses, DUP-Net has three advantages. First, with DUP-Net as a defense, the target model is more robust to white-box adversarial attacks. Second, the statistical outlier removal provides added robustness since it is a non-differentiable denoising operation. Third, the upsampler network can be trained on a small dataset and defends well against adversarial attacks generated from other point cloud datasets. We conduct various experiments to validate that DUP-Net is very effective as defense in practice. Our best defense eliminates 83.8% of C&W and l_2 loss based attack (point shifting), 50.0% of C&W and Hausdorff distance loss based attack (point adding) and 9.0% of saliency map based attack (point dropping) under 200 dropped points on PointNet.

研究の動機と目的

• 自律走行などのセキュリティが重要な応用分野において、3次元ディープラーニングモデルの敵対的ポイントクラウド攻撃に対する脆弱性を解消すること。
• バックプロパゲーションに依存する勾配ベースのホワイトボックス攻撃に対して、微分不能な統計的ノイズ除去と学習可能なアップサンプリングを活用することで、耐性のある防御機構を開発すること。
• 小規模なデータセットで事前学習されたアップサンプラーを用いて、さまざまなポイントクラウドデータセットに一般化可能な効果的な防御を実現すること。
• 表面の滑らかさと構造的整合性を回復させることで、ポイントシフト、追加、欠落といった多様な敵対的摂動に対する耐性を向上させること。

提案手法

• DUP-Net は2段階の防御を採用する：まず、多様体表面から逸脱する高リーク率の外れ値を除去する統計的外れ値除去（SOR）を適用する。
• SOR レイヤーは微分不能であるため、バックプロパゲーションに依存する勾配ベースのホワイトボックス攻撃に対して耐性を示す。
• ノイズ除去の後、学習可能なポイントクラウドアップサンプリングネットワーク（PU-Net）が、解像度を向上させ、局所的な滑らかさを改善してポイントクラウドを再構築する。
• アップサンプラーは小規模なデータセットで学習され、他のデータセットからの敵対的例に対しても良好に一般化され、完全な再学習を必要とせずに耐性を向上させる。
• 防御は推論時に行われ、ターゲット分類器（例：PointNet）に供給する入力の前処理として適用される。
• 本フレームワークは、C&W ベースのポイントシフト、ポイント追加、およびサリエンシーマップベースのポイント欠落攻撃を含む、複数の攻撃タイプに対して ModelNet40 を用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 微分不能なノイズ除去処理（例：SOR）は、3次元ポイントクラウドにおけるホワイトボックス敵対的攻撃に対する耐性を向上させ得るか？
• RQ2 小規模データセットで学習された軽量なアップサンプリングネットワークは、敵対的ポイントクラウドをどれほど回復させ、分類精度を向上させ得るか？
• RQ3 DUP-Net は、ポイントシフト、追加、欠落といった多様な敵対的攻撃タイプに対して、どれほど効果的に防御できるか？
• RQ4 SOR と PU-Net の組み合わせは、個々のコンponent やベースライン防御と比較して、耐性および一般化性能において優れているか？

主な発見

• DUP-Net は PointNet における C&W ベースのポイントシフト攻撃に対して 83.8% の防御成功率を達成し、ベースライン防御を著しく上回っている。
• C&W ベースのポイント追加攻撃に対しては、DUP-Net は 50.0% の敵対的例を防御しており、ポイント挿入に対して強い耐性を示している。
• サリエンシーマップベースのポイント欠落攻撃に対しては、DUP-Net は 9.0% の防御成功率を示しており、ベースライン手法に比べて限定的ではあるが明確な改善が見られる。
• SOR ノイズ除去ステップが、特にポイントシフト攻撃によって導入される外れ値の低減において、耐性向上に大きく寄与している。
• PU-Net アップサンプラー単体でも、ベースライン手法に比べて防御性能が向上しており、SOR と組み合わせることで耐性がさらに向上する。
• DUP-Net は、小規模なデータセットでの学習にもかかわらず、PointNet++ や DGCNN といった異なるターゲットモデルに対しても成功裏に防御を実行できており、良好な一般化性能を示している。