[論文レビュー] Robust Collective Classification against Structural Attacks.

Kai Zhou, Yevgeniy Vorobeychik|arXiv (Cornell University)|Jul 26, 2020

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

本稿では、テスト時にグラフエッジが改ざんされる構造的攻撃に対して頑健な、関連付きマルコフネットワーク（AMN）のための集合的分類フレームワークを提案する。敵対的攻撃の文脈で、深層学習モデルを上回る頑健性を示しながらも、クリーンデータ上での高い精度を維持する。問題を双対に基づく凸緩和を用いた二重最適化として定式化することで、強い頑健性を達成する。

ABSTRACT

Collective learning methods exploit relations among data points to enhance classification performance. However, such relations, represented as edges in the underlying graphical model, expose an extra attack surface to the adversaries. We study adversarial robustness of an important class of such graphical models, Associative Markov Networks (AMN), to structural attacks, where an attacker can modify the graph structure at test time. We formulate the task of learning a robust AMN classifier as a bi-level program, where the inner problem is a challenging non-linear integer program that computes optimal structural changes to the AMN. To address this technical challenge, we first relax the attacker problem, and then use duality to obtain a convex quadratic upper bound for the robust AMN problem. We then prove a bound on the quality of the resulting approximately optimal solutions, and experimentally demonstrate the efficacy of our approach. Finally, we apply our approach in a transductive learning setting, and show that robust AMN is much more robust than state-of-the-art deep learning methods, while sacrificing little in accuracy on non-adversarial data.

研究の動機と目的

• テスト時にグラフエッジが改ざんされる構造的攻撃に対して脆弱な集合的分類手法の問題に対処すること。
• 関連付きマルコフネットワーク（AMN）における敵対的頑健性を、二重最適化問題として形式化すること。
• 攻撃者の非線形整数計画問題のための凸緩和を導出し、頑健な学習問題を扱いやすくすること。
• 双対性を用いた近似解の品質に関する理論的境界を証明すること。
• 推論的学習設定下で手法を評価し、最先端の深層学習モデルと頑健性を比較すること。

提案手法

• 頑健なAMN学習を二重計画問題として定式化：外側の問題はモデルパラメータの最適化を、内側の問題は最悪ケースの構造的摂動の計算を担当する。
• 内側問題の非線形整数計画問題を連続的緩和に置き換えることで、最適化を扱いやすくする。
• ラグランジュ双対性を適用し、最悪ケース損失の凸二次上界を導出し、効率的な最適化を可能にする。
• 双対式を用いて、敵対的グラフ変更に対して頑健な保証を得る代替目的関数を導出する。
• テスト時の構造的攻撃に対する性能評価のため、推論的学習設定を採用する。
• 双対に基づく上界を学習目的関数に統合し、最悪ケース期待損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 構造的攻撃下における関連付きマルコフネットワークにおける敵対的頑健性を、どのように形式的にモデル化できるか？
• RQ2 グラフ構造の操作が、集合的分類器の分類性能に与える影響は何か？
• RQ3 最悪ケースの構造的摂動下での頑健なAMN学習のための取り扱いやすい最適化フレームワークを導出できるか？
• RQ4 双対に基づく凸緩和は、真の最適解と比較して、頑健な解の品質にどのように影響を与えるか？
• RQ5 最先端の深層学習モデルと比較して、頑健なAMN手法の頑健性とクリーンデータ上の精度はどのように異なるか？

主な発見

• 提案手法は、推論的学習設定下で、最先端の深層学習手法と比較して、構造的攻撃に対して顕著に高い頑健性を示した。
• 双対に基づく凸緩和は、最悪ケース損失のタイトな上界を提供し、効果的な最適化を可能にした。
• 敵対的でないテストデータ上でも高い精度を維持しており、性能低下は最小限に抑えられた。
• 理論的分析により、双対を用いて得られる近似解のサブ最適性に関する境界が確立された。
• 実験結果から、robust AMNは深層学習ベースラインよりもエッジ摂動攻撃に対してより耐性があることが確認された。