[論文レビュー] Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More

Aleksandar Bojchevski, Johannes Klicpera+1 more|arXiv (Cornell University)|Aug 29, 2020

Advanced Graph Neural Networks参考文献 42被引用数 8

ひとこと要約

本稿では、ランダム化スムージングを用いて、構造的および属性的摂動に対して、スパarsityに配慮した、モデルに依存しない堅牢性証明を提案する。この手法により、グラフニューラルネットワーク（GNNs）に対する効率的かつタイトな認証が可能となり、画像分類のImageNetデータに対しては、従来の4日間を要する作業を1秒未塔で達成する。入力サイズや離散カテゴリ数に依存しない。

ABSTRACT

Existing techniques for certifying the robustness of models for discrete data either work only for a small class of models or are general at the expense of efficiency or tightness. Moreover, they do not account for sparsity in the input which, as our findings show, is often essential for obtaining non-trivial guarantees. We propose a model-agnostic certificate based on the randomized smoothing framework which subsumes earlier work and is tight, efficient, and sparsity-aware. Its computational complexity does not depend on the number of discrete categories or the dimension of the input (e.g. the graph size), making it highly scalable. We show the effectiveness of our approach on a wide variety of models, datasets, and tasks -- specifically highlighting its use for Graph Neural Networks. So far, obtaining provable guarantees for GNNs has been difficult due to the discrete and non-i.i.d. nature of graph data. Our method can certify any GNN and handles perturbations to both the graph structure and the node attributes.

研究の動機と目的

• グラフ構造の入力に特化した、効率的でタイトかつスパarsityに配慮した離散データの堅牢性証明の欠如に対処すること。
• 従来の証明が、非効率、スパarsityに配慮しない、または特定のモデルや摂動タイプに限定されているという限界を克服すること。
• 構造的および属性的摂動の両方を想定した状況下でも、任意のGNNモデル（グラフレベル分類を含む）に対して、証明可能な堅牢性認証を可能にすること。
• 入力次元や離散カテゴリ数に依存しない計算効率を達成し、大規模なグラフや高次元の離散データへのスケーラビリティを実現すること。
• GNN、離散化された画像、シーケンスなど多様なタスクにおいて、優れた実行時間とタイトな保証を示す、本手法の有効性を実証すること。

提案手法

• グラフや画像のような構造的かつスパースな入力を尊重するスパarsityに配慮したランダム化スキームを導入することで、離散データにランダム化スムージングフレームワークを適応する。
• 各離散要素が、正のカテゴリ（p+）と負のカテゴリ（p−）に対して異なる確率で独立に摂動される一般化されたランダム化メカニズムを用いることで、スムージング分布に対する細かな制御を可能にする。
• ランダム化された入力の多数決に基づく確率的堅牢性証明を導出する。摂動下での誤分類確率を抑え込むために、集中不等式を活用する。
• モデルの予測結果のみを用いて証明を計算するため、GNNのメッセージパッシングダイナミクスの複雑な解析を回避でき、モデルに依存しない。
• ボンフェローニ補正を用いたマルチクラス拡張により、二値分類の設定よりも保証をタイトにできる。
• 摂動確率行列ρx,xtを事前計算・再利用することで、複数のテスト入力に対して全分布の再計算なしに認証を高速化する。

実験結果

リサーチクエスチョン

• RQ1 保守的な緩和に依存せずに、効率的かつタイトな離散データの堅牢性証明を設計できるか？
• RQ2 スパarsityをランダム化スムージングに組み込むことで、グラフやその他の離散データに対する堅牢性証明の品質を向上させられるか？
• RQ3 構造的および属性的摂動の両方を想定した状況下でも、GNNの堅牢性証明を拡張でき、特にグラフレベル分類に対しても有効か？
• RQ4 標準のランダム化スムージングと比較して、スパarsityに配慮したスムージングの計算オーバーヘッドは何か？また、大規模なグラフや高次元の離散入力へスケーリング可能か？
• RQ5 実世界のベンチマークにおいて、既存の離散データ用証明と比較して、本手法の認証精度と推論時間はどのように異なるか？

主な発見

• 本手法は、離散化されたImageNetにおいてr=1の条件下で0.54の認証精度を達成し、実行時間はわずか2.5ms。Leeら（2019）の4日間と比較して1000倍の高速化を実現した。
• p+ = 0.1、p− = 0.2という別々のフリップ確率を用いることで、同じ摂動半径下で非スパarsityに配慮しないベースラインと比較して、認証率を最大30%向上させた。
• ボンフェローニ補正を用いたマルチクラス証明は、二値分類の設定よりもタイトな保証を提供し、同等の設定下でバイナリズドMNISTでは認証精度を最大10%向上させた。
• 本手法は、これまでの証明がカバーしていなかったグラフレベルのGNNに対して、初めて証明可能な堅牢性認証を可能にした。
• 計算複雑度は入力サイズや離散カテゴリ数に依存しないため、大規模なグラフや分子やシーケンスのような高次元の離散データへのスケーラビリティを実現した。
• 本手法は、既存の離散データに関する研究を包含し、特に高次元またはスパースな状況下で、より効率的かつタイトな統一フレームワークを提供する。