[論文レビュー] MultiGuard: Provably Robust Multi-label Classification against Adversarial Examples

Jinyuan Jia, Wenjie Qu+1 more|arXiv (Cornell University)|Oct 3, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

MultiGuard は、等方的ガウスノイズを用いたランダム化スムージングを用いて、マルチラベル分類における最初の証明可能で頑健な防御法である。$ε$-有界な $l_2$ 逆方向摂動に対して、予測セット内に残る真のラベルの数が証明可能であることを保証し、VOC 2007、MS-COCO、NUS-WIDE データセットにおいて、一般化されたマルチクラスの証明可能防御よりも優れた頑健性を達成している。

ABSTRACT

Multi-label classification, which predicts a set of labels for an input, has many applications. However, multiple recent studies showed that multi-label classification is vulnerable to adversarial examples. In particular, an attacker can manipulate the labels predicted by a multi-label classifier for an input via adding carefully crafted, human-imperceptible perturbation to it. Existing provable defenses for multi-class classification achieve sub-optimal provable robustness guarantees when generalized to multi-label classification. In this work, we propose MultiGuard, the first provably robust defense against adversarial examples to multi-label classification. Our MultiGuard leverages randomized smoothing, which is the state-of-the-art technique to build provably robust classifiers. Specifically, given an arbitrary multi-label classifier, our MultiGuard builds a smoothed multi-label classifier via adding random noise to the input. We consider isotropic Gaussian noise in this work. Our major theoretical contribution is that we show a certain number of ground truth labels of an input are provably in the set of labels predicted by our MultiGuard when the $\ell_2$-norm of the adversarial perturbation added to the input is bounded. Moreover, we design an algorithm to compute our provable robustness guarantees. Empirically, we evaluate our MultiGuard on VOC 2007, MS-COCO, and NUS-WIDE benchmark datasets. Our code is available at: \url{https://github.com/quwenjie/MultiGuard}

研究の動機と目的

• マルチラベル分類における証明可能で頑健な防御の欠如に取り組むこと。これは、敵対的例に対して依然として脆弱である。
• マルチクラスの頑健性に効果的であるランダム化スムージングを、ラベル集合の安定性に関する形式的保証を伴ってマルチラベル設定に拡張すること。
• 有界な摂動下で少なくとも $e$ 個の真のラベルが証明可能に予測されることを保証する、証明可能な交差サイズ $e$ を導出すること。
• マルチラベル設定における証明可能頑健性保証を効率的に計算するためのアルゴリズムを設計すること。
• 標準ベンチマーク上でのハイパーパrameterのトレードオフとマルチラベルベンチマークにおける MultiGuard の頑健性を実験的に検証すること。

提案手法

• 入力に等方的ガウスノイズを追加することで、スムージングされたマルチラベル分類器を構築するランダム化スムージングを活用する。
• ラベル確率 $p_i$（ベース分類器の上位 $k'$ 個の予測にラベル $i$ が含まれる確率）をスムージングの根拠とする。
• $p_i$ 値が最も高い $k$ 個のラベルを最終出力として予測し、頑健なマルチラベル予測を形成する。
• 理論的分析において、複数関数に対するネイマン＝ピアソン補題の新規な変種を導入し、マルチラベル予測を扱う。
• 制約付き最適化問題（式 8）を用いて、ラベル確率の下限と上限をバランスさせる証明可能な交差サイズ $e$ を導出する。
• ラベル確率を推定し、効率的に頑健性保証を計算するためのモンテカルロサンプリングベースのアルゴリズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化スムージングは、1入力あたり複数のラベルを予測するマルチラベル分類において、証明可能な頑健性保証を拡張できるか？
• RQ2 $l_2$-有界な逆方向摂動下で、真のラベルが予測セットに残る数の理論的上限は何か？
• RQ3 ハイパーパrameter である $k'$, $k$, $\sigma$, $n$, $\alpha$ が、実際の証明可能な交差サイズと頑健性に与える影響は何か？
• RQ4 式 8 の2次項を頑健性最適化に組み込むと、証明可能な性能が著しく向上するか？
• RQ5 マルチラベルベンチマークにおいて、既存の証明可能防御と比較して MultiGuard の頑健性と精度はどのように異なるか？

主な発見

• 式 8 の2次項を含めると、VOC 2007 において $R=0.5$ のとき、トップ-$k$ 精度@$R$ が 23.6% から 31.3% に向上する。
• 2次項を含めると、トップ-$k$ リcall@$R$ は 48.8% から 66.4% に向上し、その影響が顕著であることが示された。
• $k'$ を大きくすると、攻撃なしでは性能が向上するが、攻撃者の可能な摂動空間が拡大するため、頑健性が低下する。
• $k$ を大きくすると、$R$ の増加に対する頑健性が向上するが、攻撃なしでは精度が低下する。
• $\sigma$ を大きくすると頑健性が向上するが、クリーンセットの性能が低下するため、頑健性と精度のトレードオフが顕在化する。
• $n$ と $\alpha$ を大きくすると証明可能な交差サイズが向上するが、$n$ が大きくなると効果が飽和し、$\alpha$ が十分に小さい場合には効果が小さくなる。