[論文レビュー] Be Careful with Rotation: A Uniform Backdoor Pattern for 3D Shape

Linkun Fan, Fazhi He+4 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、点群やメッシュなどの異種3Dデータ構造を横断して転送可能な、目に見えないバックドア攻撃を可能にする一様なバックドアパターン「NRBdoor」を提案する。ノイズを含む回転を活用することで、最先端の3Dメッシュニューラルネットワークにおいて100%の攻撃成功率を達成し、精度の低下は最小限に抑えられ、サリエンシーに基づく防御を回避する。これは、3DメッシュDNNにバックドアを成功裏に埋め込んだ初の試みである。

ABSTRACT

For saving cost, many deep neural networks (DNNs) are trained on third-party datasets downloaded from internet, which enables attacker to implant backdoor into DNNs. In 2D domain, inherent structures of different image formats are similar. Hence, backdoor attack designed for one image format will suite for others. However, when it comes to 3D world, there is a huge disparity among different 3D data structures. As a result, backdoor pattern designed for one certain 3D data structure will be disable for other data structures of the same 3D scene. Therefore, this paper designs a uniform backdoor pattern: NRBdoor (Noisy Rotation Backdoor) which is able to adapt for heterogeneous 3D data structures. Specifically, we start from the unit rotation and then search for the optimal pattern by noise generation and selection process. The proposed NRBdoor is natural and imperceptible, since rotation is a common operation which usually contains noise due to both the miss match between a pair of points and the sensor calibration error for real-world 3D scene. Extensive experiments on 3D mesh and point cloud show that the proposed NRBdoor achieves state-of-the-art performance, with negligible shape variation.

研究の動機と目的

• 点群やメッシュなどの異種3Dデータ構造を横断する転送可能なバックドアパターンの欠如に対処すること。
• 3Dメッシュの幾何学的・トポロジカルな整合性を保持するバックドアパターンを設計し、メッシュベースのDNNと互換性を持たせること。
• センサのノイズやキャリブレーション誤差に起因する実世界の3Dデータに自然に存在するバックドアを実現すること。
• データ拡張および新興防御メカニズムに対する提案されたバックドアの耐性を評価すること。
• 点群バックドア検出のための新規サリエンシーに基づく防御（SP-defense）を提案し、NRBdoorおよび既存攻撃に対する有効性を評価すること。

提案手法

• NRBdoorは、実世界のセンサやキャリブレーション誤差を模倣する非直交かつノイズを含む回転行列を、3D形状全体に適用することでバックドアを生成する。
• 最適なノイズ回転パターンは、攻撃成功率（ASR）を段階的に向上させつつ精度の低下を最小限に抑えるノイズ生成・選択プロセスを通じて同定される。
• 球面座標と変換（ρᵢ = rᵢ⁻ᵝ）を用いて点群特徴のサリエンシー評価値を計算し、重要なバックドア領域の特定を可能にする。
• サリエンシーに基づく防御（SP-defense）は、上位q個の高サリエンシー点（バックドアパターンと想定される）を順位付けして削除することで、バックドアの特定と除去を実行する。
• 公開データセット（例：ModelNet40）を用いて、点群（PointNet, PointNet++, DGCNN）およびメッシュ（MeshCNN, SubdivNet, MeshWalker）モデルの両方で攻撃を評価する。
• データ拡張（ランダム回転およびスケーリング）の下でもテストされ、ASRがわずか5%低下するにとどまり、耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 点群やメッシュなどの異種3Dデータ構造を横断するバックドアパターンを設計可能か？
• RQ2 実世界の3D取得における固有のノイズを活用することで、バックドアを3Dデータに自然かつ目に見えない形で実装できるか？
• RQ3 提案されたNRBdoorは、高い攻撃成功率を達成しつつ、クリーンデータにおけるモデル精度をどの程度維持できるか？
• RQ4 NRBdoorは、既存の点群バックドア用サリエンシーに基づく防御を回避できるか？
• RQ5 提案されたSP-defenseは、3D点群モデルにおけるバックドア攻撃の検出および緩和にどの程度有効か？

主な発見

• NRBdoorは、複数の最先端の3DメッシュDNN（例：MeshCNN, SubdivNet, MeshWalker）で100%の攻撃成功率を達成し、クリーン精度の低下は0.5%未満である。
• 3D点群モデル（PointNet, PointNet++, DGCNN）では、93.44%以上の攻撃成功率を達成しながらも、高い隠蔽性を維持している。
• データ拡張に対して耐性を示し、ランダム回転およびスケーリングの下でもASRがわずか5%低下するにとどまる。
• SP-defenseはPointBA_Xの攻撃成功率を82%から23%に低下させるが、NRBdoorにはわずかにしか影響せず（93.44%から88.39%に低下）、回避能力が裏付けられる。
• NRBdoorは、多様体性やウォータープルーフ性を損なわず、3DメッシュDNNに成功裏に埋め込み・動作させる初のバックドアパターンである。
• 探索プロセスの結果、反復回数（K）と候補ノイズ数（M）を増加させることでパターン品質が向上し、最適設定ではASRが100%に達する。