[論文レビュー] T$_k$ML-AP: Adversarial Attacks to Top-$k$ Multi-Label Learning

Shu Hu, Lipeng Ke+2 more|arXiv (Cornell University)|Jul 31, 2021

Adversarial Robustness in Machine Learning参考文献 24被引用数 4

ひとこと要約

本稿では、トップ-$k$マルチラベル学習（T$k$ML）システムを対象とする、最初のホワイトボックス敵対的攻撃フレームワーク、T$_k$ML-APを提案する。連続的で凸な損失関数を用いてラベル順位を操作することで、摂動を最小限に抑えながら、正解ラベルやターゲットラベルをトップ-$k$予測から外す、または中に含める。MS COCOで最大100%の攻撃成功率を達成する。

ABSTRACT

Top-$k$ multi-label learning, which returns the top-$k$ predicted labels from an input, has many practical applications such as image annotation, document analysis, and web search engine. However, the vulnerabilities of such algorithms with regards to dedicated adversarial perturbation attacks have not been extensively studied previously. In this work, we develop methods to create adversarial perturbations that can be used to attack top-$k$ multi-label learning-based image annotation systems (TkML-AP). Our methods explicitly consider the top-$k$ ranking relation and are based on novel loss functions. Experimental evaluations on large-scale benchmark datasets including PASCAL VOC and MS COCO demonstrate the effectiveness of our methods in reducing the performance of state-of-the-art top-$k$ multi-label learning methods, under both untargeted and targeted attacks.

研究の動機と目的

• トップ-$k$マルチラベル学習（T$k$ML）システムは、画像アノテーションやWeb検索で広く使われているが、そのようなシステムを的確に攻撃する体系的な敵対的攻撃手法の欠如に取り組むこと。
• T$k$ML分類器のトップ-$k$順位付け動作を明示的にモデル化する攻撃戦略を開発すること。標準的なマルチクラス問題として扱うのでなく、その特徴を考慮した戦略を採用すること。
• 個々の予測スコアに関して凸である損失関数を設計し、効率的な最適化と強固な敵対的摂動の生成を可能にすること。
• PASCAL VOC や MS COCO といった大規模ベンチマークを用いて、非標的および標的攻撃の両設定下での攻撃効果を評価すること。
• 現実のT$k$MLアプリケーションでモデル性能を確実に低下させる、効果的で低振幅の摂動を生成できることを示すこと。

提案手法

• 勾配ベースの最適化を可能にするために、微分不能なトップ-$k$順位付け操作を連続的近似に再定式化する。
• トップ-$k$順位のシフトに直接的に対処する、新しい凸損失関数を設計する。具体的には、正解ラベルをトップ-$k$から除外する、またはターゲットラベルをその中に挿入する。
• 摂動を最適化する際、勾配降下法を用い、損失を最小化すると同時に入力特徴への変更を最小限に抑え、人間が感知できないようにする。
• 異なる攻撃シナリオに対応するため、インスタンス固有の攻撃とユニバーサル攻撃の両方のバリエーション（T$_k$ML-AP-Uv）を実装する。
• 予測スコアをシグモイド型変換で補正し、出力を[0,1]に収める。これにより、標準的なマルチラベル学習の仮定と整合させる。
• PASCAL VOC 2012 および MS COCO 2014 をベンチマークデータセットとして用い、最先端のT$k$MLモデルに攻撃フレームワークを適用して評価する。

実験結果

リサーチクエスチョン

• RQ1 トップ-$k$マルチラベル学習システムは、標準的なマルチクラス分類とは根本的に異なるため、効果的な敵対的攻撃をどのように設計できるか？
• RQ2 凸で微分可能な損失関数を用いて、トップ-$k$順位のシフトをモデル化・最適化し、効率的かつ効果的な敵対的摂動の生成を可能にできるか？
• RQ3 提案された攻撃は、非標的および標的攻撃の両設定で、特にターゲットラベルが正解ラベルから意味的に遠く離れている場合に、どの程度の性能を示すか？
• RQ4 T$k$MLにおけるユニバーサル攻撃とインスタンス固有攻撃の間で、攻撃成功率と摂動の大きさのトレードオフはどのように変化するか？
• RQ5 攻撃成功率は$k$の増加に伴いどのように変化するか？また、ターゲットラベルと真のラベルの意味的距離が攻撃の難易度に与える影響は何か？

主な発見

• T$_k$ML-APは、MS COCO 2014 データセットで$k=3$の標的攻撃において100%の攻撃成功率（ASR）を達成し、ベースライン手法を上回った。
• PASCAL VOC 2012 では、$k=3$の標的攻撃で96.6%のASRを達成し、困難な状況下でも高い有効性を示した。
• ユニバーサル攻撃バージョン（T$_k$ML-AP-Uv）は、MS COCO 全体の$k$値において$k$-UAPsを上回り、成功に必要な摂動の大きさも小さかった。
• 攻撃成功率は$k$の増加に伴い低下した。これは、トップ-$k$集合内に再配置が必要なラベル数が増えるため、攻撃の難易度が上昇することを確認した。
• 最悪の状況（ターゲットラベルが真のラベルから意味的に遠く離れている）でも、$k=10$のときT$_k$ML-AP-Tは73.1%のASRを達成し、意味的難易度に対しても耐性があることを示した。
• 可視化比較により、T$_k$ML-AP-Uvは$k$-UAPsよりも小さな、より一貫性のある摂動で、すべてのトップ-$k$ラベルを効果的に攻撃できていることが確認された。$k$-UAPsは一部の画像では失敗していた。