[論文レビュー] Finding Optimal Tangent Points for Reducing Distortions of Hard-label Attacks

Chen Ma, Xiangyu Guo+3 more|arXiv (Cornell University)|Nov 15, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、現在の adversarial 例の周囲の仮想半球上の最適な接点を特定することで、ℓ2 歪みを最小化する幾何学的に最適な hard-label black-box adversarial 攻撃手法である Tangent Attack (TA) を提案する。各反復で意思決定境界の接方向に従うことで、従来の query-based 手法（HSJA や Sign-OPT）と比較して、はるかに少ない query 数で ImageNet および CIFAR-10 で顕著に低い歪みを達成する。

ABSTRACT

One major problem in black-box adversarial attacks is the high query complexity in the hard-label attack setting, where only the top-1 predicted label is available. In this paper, we propose a novel geometric-based approach called Tangent Attack (TA), which identifies an optimal tangent point of a virtual hemisphere located on the decision boundary to reduce the distortion of the attack. Assuming the decision boundary is locally flat, we theoretically prove that the minimum $\ell_2$ distortion can be obtained by reaching the decision boundary along the tangent line passing through such tangent point in each iteration. To improve the robustness of our method, we further propose a generalized method which replaces the hemisphere with a semi-ellipsoid to adapt to curved decision boundaries. Our approach is free of pre-training. Extensive experiments conducted on the ImageNet and CIFAR-10 datasets demonstrate that our approach can consume only a small number of queries to achieve the low-magnitude distortion. The implementation source code is released online at https://github.com/machanic/TangentAttack.

研究の動機と目的

• トップ-1 ラベルのみが利用可能な hard-label black-box 攻撃における高い query 複雑性と歪みを解決すること。
• HSJA や Sign-OPT などの既存手法が幾何学的に最適でない勾配方向を使用しているという制限を克服すること。
• 接方向に沿った幾何学的最適化に基づく、query 効率的で歪みを最小化する攻撃法を開発すること。
• G-TA 法で提案された半楕円体への一般化により、曲がった意思決定境界に対しても耐性を高めること。
• 多様なモデルとデータセットにおいて、多様な設定（標的あり・なし）で最小限の query バジェットで最先端の性能を示すこと。

提案手法

• 意思決定境界を局所的に平面と近似する幾何学的フレームワークを提案し、現在の adversarial 例を中心とする仮想半球上での最適攻撃経路を、その接線として特定する。
• 元の画像からの ℓ2 歪みを最小化するように、意思決定境界への投影が行われる最適な接点を同定する。
• ベクトル幾何学を用いて最適な接方向の閉形式解を導出する。これにより、元の画像からの距離を最小化しつつ、adversarial misclassification を維持する。
• 半球を半楕円体に置き換えることで、曲がった境界に対してもより良い適合性を実現する。
• 事前学習を一切行わず、ターゲットモデルのラベルクエリのみに依存する実装により、実世界への適用可能性を高める。
• 反復的改善を採用：各ステップで現在の半球上の接点を計算し、その方向に摂動を更新し、モデルにクエリを送信してラベルの反転を確認する。

実験結果

リサーチクエスチョン

• RQ1 仮想半球上の接点に基づく幾何学的アプローチは、勾配ベースやランダムサーチ手法と比較して、hard-label black-box 攻撃における ℓ2 歪みを低減できるか？
• RQ2 意思決定境界に到達する際、半球上の接方向が歪みを最小化する最適な経路であるか？
• RQ3 意思決定境界の曲率が変化する状況下で、本手法はどのように性能を示すか？また、半楕円体への一般化により、平面的半球と比較して境界の曲がりに対してより耐性があるか？
• RQ4 HSJA や Sign-OPT などの既存の query-based 攻撃と比較して、著しく少ない query 数で同等または優れた攻撃成功率を達成できるか？
• RQ5 多様なモデル（例：ResNet, Inception, SENet）およびデータセット（ImageNet, CIFAR-10）において、標的あり・なしの両設定で、幾何学的最適化が有効に機能するか？

主な発見

• Tangent Attack (TA) は、ResNet-101 に対する標的攻撃で 10,000 クエリで ImageNet で中央値 ℓ2 歪み 19.993 を達成し、HSJA (23.838) や Sign-OPT (25.380) より顕著に低い値を示した。
• CIFAR-10 では、PyramidNet-272 に対する標的攻撃で 10,000 クエリで中央値 ℓ2 歪み 0.318 にまで低減し、HSJA (0.325) や Sign-OPT (0.549) を上回った。
• 一般化された Tangent Attack (G-TA) は、すべてのモデルとデータセットで強力な性能を維持し、中央値の歪みが TA と同等またはそれ以下に保たれ、曲がった意思決定境界に対しても耐性があることを示した。
• ResNet-101 に対する非標的攻撃では、TA が 10,000 クエリで中央値歪み 6.030 を達成し、BA (58.924)、Sign-OPT (6.808)、HSJA (6.227) を上回った。
• 同じモデルにおいて G-TA は 10,000 クエリで歪み 6.087 を達成し、TA と比較してほとんど劣化がなく、境界の曲がりに対してもより耐性があることが示された。
• すべての設定において、TA および G-TA は、ベースライン手法と比較して同等またはより良い歪みレベルに到達するためのクエリ数が著しく少なかった。これにより、クエリ効率性と幾何学的最適性の有効性が裏付けられた。