[論文レビュー] Adversarial Robustness Guarantees for Classification with Gaussian Processes

Arno Blaas, Andrea Patanè+4 more|arXiv (Cornell University)|May 28, 2019

Gaussian Processes and Bayesian Inference参考文献 34被引用数 8

ひとこと要約

本稿では、Gaussian process classification (GPC) の出力に対する解析的境界を用いた分枝限定法アルゴリズムを提案し、コンpactな入力集合における adversarial なロバストネス保証を計算する。凸最適化を用いて事後平均および分散の境界を特定し、潜在空間の離散化によって境界を精獰することで、有限時間内に最小および最大の分類確率の $\epsilon$-近似を保証する。この手法により、合成データ、SPAM、MNIST データセットにおいてロバストネス解析と解釈可能性解析が可能となる。

ABSTRACT

We investigate adversarial robustness of Gaussian Process Classification (GPC) models. Given a compact subset of the input space $T\subseteq \mathbb{R}^d$ enclosing a test point $x^*$ and a GPC trained on a dataset $\mathcal{D}$, we aim to compute the minimum and the maximum classification probability for the GPC over all the points in $T$. In order to do so, we show how functions lower- and upper-bounding the GPC output in $T$ can be derived, and implement those in a branch and bound optimisation algorithm. For any error threshold $ε> 0$ selected a priori, we show that our algorithm is guaranteed to reach values $ε$-close to the actual values in finitely many iterations. We apply our method to investigate the robustness of GPC models on a 2D synthetic dataset, the SPAM dataset and a subset of the MNIST dataset, providing comparisons of different GPC training techniques, and show how our method can be used for interpretability analysis. Our empirical analysis suggests that GPC robustness increases with more accurate posterior estimation.

研究の動機と目的

• Gaussian Process Classification (GPC) モデルに対する形式的な adversarial なロバストネス保証の欠如に対処すること。
• テスト点を含むコンパクトな入力集合上での最小および最大の分類確率を計算すること。
• 有限時間内に分類確率範囲の $\epsilon$-近似境界に収束することを保証する手法を提供すること。
• ロバストネスに配慮した特徴量の重要度を用いて入力感度を定量化することで、解釈可能性解析を可能にすること。
• 近似推論およびハイパーパrameter最適化を含む、異なるGPC学習手法のロバストネスを比較すること。

提案手法

• 離散化された潜在空間上でガウス積分を最適化することにより、GPC分類確率の解析的上界および下界を導出する。
• コンパクト集合 $T$ 上でのGPC事後平均および分散の極値を特定するために、凸二次および線形プログラミングを用いる。
• 入力空間を再帰的に分割し、$\epsilon$-精度に達するまで境界を精獰する分枝限定法アルゴリズムを実装する。
• 潜在空間の離散化を用いてGPC出力のタイトな境界を計算し、トレーダブルなグローバル最適化を可能にする。
• GPC事後分布からの不確実性伝播をロバストネス計算に統合し、確率的保証を提供する。
• 得られた境界を用いて分類範囲および感度指標を計算し、解釈可能性解析を実施。LIMEと比較する。

実験結果

リサーチクエスチョン

• RQ1 コンパクトな入力集合 $T$ 上で、GPCモデルの最小および最大分類確率に対する証明可能なタイトな境界を計算できるか？
• RQ2 提案された分枝限定法アルゴリズムは、有限時間内に真の分類確率範囲の $\epsilon$-近似に収束するか？
• RQ3 近似ベイジアン推論（例：ラプラシアン近似 vs. EP）の選択が、GPCモデルのadversarialロバストネスに与える影響は何か？
• RQ4 adversarialロバストネスを用いることで、LIMEのような局所線形手法と比較してGPC予測の解釈可能性を向上させられるか？
• RQ5 学習エポック数がGPCモデルのロバストネスに与える影響は何か？

主な発見

• 提案手法は、任意のコンパクトな入力集合上で、有限時間内にGPC分類確率の $\epsilon$-近似境界に収束することを保証する。
• 期待値伝播（EP）は、評価されたすべてのデータセットにおいてラプラシアン近似よりもよりロバストなGPCモデルをもたらす。
• GPCのロバストネスは学習エポック数の増加に伴い向上する傾向にあり、事後分布推定の向上がadversarial耐性を高めることを示唆する。
• 本手法は、MNIST上で意味的で連続的な領域を同定し、それらをホワイトニングすることで分類確率を顕著に低下させることを確認した（例：「3」を「8」に変換）。これはモデルの挙動を正当化する。
• SPAMデータセットでは、本手法はグローバルな非線形関係を正しく捉えているが、LIMEは合成データセット（Synthetic2D）では局所線形近似依存のため失敗する。
• $\gamma=2.0$ の場合、提案された解釈可能性指標はグローバルな入力-出力依存関係を捉え、非線形設定ではLIMEを上回る性能を示す。