[論文レビュー] Nudge Attacks on Point-Cloud DNNs

Yiren Zhao, Ilia Shumailov+2 more|arXiv (Cornell University)|Nov 22, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 5

ひとこと要約

本稿では、3次元点群の深層ニューラルネットワーク（DNN）をだますために、わずか数点のみを変更する「ヌーディング攻撃」——敵対的摂動を提案する。勾配ベースおよび進化的アルゴリズムベースの手法を用いて、著者らは、1点の摂動でもDGCNN上で予測を反転させる成功率が36.54%に達することを示した。また、異なるモデル間での高い転送性を示しており、自動運転車のようなLiDARベースのシステムに対して現実的で実用的な脅威である。

ABSTRACT

The wide adaption of 3D point-cloud data in safety-critical applications such as autonomous driving makes adversarial samples a real threat. Existing adversarial attacks on point clouds achieve high success rates but modify a large number of points, which is usually difficult to do in real-life scenarios. In this paper, we explore a family of attacks that only perturb a few points of an input point cloud, and name them nudge attacks. We demonstrate that nudge attacks can successfully flip the results of modern point-cloud DNNs. We present two variants, gradient-based and decision-based, showing their effectiveness in white-box and grey-box scenarios. Our extensive experiments show nudge attacks are effective at generating both targeted and untargeted adversarial point clouds, by changing a few points or even a single point from the entire point-cloud input. We find that with a single point we can reliably thwart predictions in 12--80% of cases, whereas 10 points allow us to further increase this to 37--95%. Finally, we discuss the possible defenses against such attacks, and explore their limitations.

研究の動機と目的

• 既存の点群敵対的攻撃には、多数の点を摂動させる必要があるという実用的実現可能性のギャップを解消すること。
• 最小限の摂動（1〜数点程度）でも、現代の点群DNNを効果的にだますことができるかどうかを調査すること。
• このような最小摂動攻撃が、異なるモデルアーキテクチャ間でどの程度転送可能であるかを評価し、ブラックボックス攻撃を可能にする。
• 点の削除などの一般的な防御策が、こうした低コスト攻撃に対してどの程度効果を発揮するかを評価すること。
• ヌーディング攻撃が、小さな反射性物体やレーザージャンブルを用いたLiDARスプーフィングなどの実世界シナリオで実際に実行可能であることを示すこと。

提案手法

• 白ボックス状況を想定し、損失勾配を用いて入力点群の最も脆弱な点を特定・摂動する勾配ベースのヌーディング攻撃を提案する。
• クラス確率のみが入手可能なグレイボックス環境を想定し、意思決定ベースの進化的アルゴリズムを用いた攻撃を導入することで、インタラクティブで低コストの攻撃を可能にする。
• 両アプローチに標的攻撃および非標的攻撃のフレームワークを適用し、望ましい誤分類結果を制御可能にする。
• 攻撃成功確率を測定するための転送性評価プロトコルを採用し、あるモデル（例：PointNet）で生成した敵対的サンプルが、他のモデル（例：DGCNN や PointNet*）でどの程度効果を発揮するかを評価する。
• 点の削除をベースラインのブラックボックス防御として実装し、原点からの距離が最も遠いk点をフィルタリングすることで、外れ値に対する耐性を模擬する。
• 評価にはModelNet10およびModelNet40データセットを用い、攻撃対象としてDGCNNおよびPointNetを主なモデルとして採用する。

実験結果

リサーチクエスチョン

• RQ1 1点や10点程度のわずかな点の摂動で、敵対的点群攻撃が効果を発揮できるか？
• RQ2 白ボックスとグレイボックス状況におけるヌーディング攻撃の成功率はどのように異なるのか？それぞれの状況で高い性能を発揮する攻撃戦略は何か？
• RQ3 ヌーディング攻撃は、異なる点群DNNアーキテクチャ間でどの程度転送可能か？ブラックボックス攻撃を可能にするか？
• RQ4 点の削除などの一般的なブラックボックス防御は、ヌーディング攻撃を効果的に緩和できるか？攻撃コストが増加しても同様に有効か？
• RQ5 ヌーディング攻撃は、自動運転車のLiDARのような実世界システムにどのような実用的影響を及ぼすか？

主な発見

• 1点のヌーディング攻撃は、ModelNet40分類タスクにおいてDGCNNモデルで36.54%の成功率を達成し、高い実用的実現可能性を示した。
• 10点の摂動を加えると、異なるモデルや攻撃タイプにおいて成功率が37〜95%に上昇し、攻撃コストの増加に伴う良好なスケーラビリティを示した。
• ヌーディング攻撃は、従来の手法と比較して顕著に高い転送性を示した：PointNetを攻撃元モデルとして用いた1点摂動攻撃では、DGCNNで33.5%、PointNet*で19.9%の成功率を記録した。
• 原点からの距離が最も遠い上位k点をフィルタリングする点の削除防御を適用しても、ヌーディング攻撃は顕著な成功率を維持した——1点攻撃では約20%、150点攻撃では約70%の成功率を示した。
• シンプルな防御にもかかわらずヌーディング攻撃の成功は継続しており、現在のブラックボックス防御は、こうした低コストで高影響力を持つ攻撃を遮断できていないことを示唆している。
• 標的攻撃および非標的攻撃の両設定において、ヌーディング攻撃は非常に効果的であり、反射性物体を装着する、またはLiDARセンサーにレーザージャンブルを設置するといった物理的実装も可能である。