[論文レビュー] Evaluating the Robustness of Nearest Neighbor Classifiers: A Primal-Dual Perspective

Lu Wang, Xuanqing Liu+3 more|arXiv (Cornell University)|Jun 10, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用数 13

ひとこと要約

本稿では、k-最近傍法（k-NN）分類器における最小の敵対的摂動を計算する最初の正確なアルゴリズムを提案する。問題を凸二次計画問題（QPs）として定式化することで、プリミナル・デュアル解を用いた、証明可能に最適な攻撃とロバストネス検証を可能にする。1-NNでは多項式時間で計算可能であり、より大きなKでは効率的な上限・下限が得られ、従来のヒューリスティック的または近似ベースの手法に比べ、攻撃効果性と検証のきつさの両面で優れている。

ABSTRACT

We study the problem of computing the minimum adversarial perturbation of the Nearest Neighbor (NN) classifiers. Previous attempts either conduct attacks on continuous approximations of NN models or search for the perturbation by some heuristic methods. In this paper, we propose the first algorithm that is able to compute the minimum adversarial perturbation. The main idea is to formulate the problem as a list of convex quadratic programming (QP) problems that can be efficiently solved by the proposed algorithms for 1-NN models. Furthermore, we show that dual solutions for these QP problems could give us a valid lower bound of the adversarial perturbation that can be used for formal robustness verification, giving us a nice view of attack/verification for NN models. For $K$-NN models with larger $K$, we show that the same formulation can help us efficiently compute the upper and lower bounds of the minimum adversarial perturbation, which can be used for attack and verification.

研究の動機と目的

• k-NN分類器における最小の敵対的摂動を正確に計算する手法の欠如に取り組むこと。k-NNは微分不能かつ非凸的である。
• 1-NNモデルの正確な最小摂動を計算する、証明可能に最適な攻撃アルゴリズムを開発すること。
• QP定式化のデュアル解を用いて、k-NN分類器に対する最初の形式的ロバストネス検証手法を提供すること。
• K > 1のK-NNにこのフレームワークを拡張し、攻撃と検証のための効率的な上限・下限を可能にすること。
• MNIST や Fashion-MNIST といった単純なデータセットにおいて、1-NNが深層ニューラルネットワークよりもより良い形式的ロバストネスを達成できることを示すこと。

提案手法

• 1-NNの最小敵対的摂動問題を、多項式時間で解ける凸二次計画問題（QPs）の集合として定式化する。
• 問題構造のスパarsityを活用し、効率的なグリーディ座標上昇法を用いて各QPを解く。
• QPのデュアル解を導出し、最小摂動の有効な下界を獲得することで、形式的ロバストネス検証を可能にする。
• 各テストインスタンスあたりのQPの数を削減するためのスクリーニングルールを導入し、計算効率を顕著に向上させる。
• K > 1のK-NNに対しては、攻撃のためのプライミナル解の近似と、Kに依存しない形式的妥当なデュアル解を構築することで、きつい検証の下限を得る。
• プライミナル・デュアルフレームワークを用いて、k-NNモデルにおいて同時に最適な攻撃（プライミナル）と形式的検証（デュアル）を達成する。

実験結果

リサーチクエスチョン

• RQ1 1-NN分類器における最小敵対的摂動は、近似ではなく正確に計算可能か？
• RQ2 プライミナル・デュアルQPs定式化は、k-NNモデルに対して最適な攻撃と形式的ロバストネス検証の両方を可能にするか？
• RQ3 K > 1の場合に、K-NNのロバストネス評価の計算複雑性はどのように管理できるか？
• RQ4 同じ摂動制約下で、1-NNのロバストネスは深層ニューラルネットワークのそれよりも証明可能に優れているか？
• RQ5 QP問題のデュアル解は、K-NN分類器における敵対的摂動のきつい、効率的な下限を提供できるか？

主な発見

• 提案手法は1-NNモデルの正確な最小敵対的摂動を計算でき、従来の攻撃手法に比べて顕著に小さい摂動を達成する。
• 1-NNでは、この手法が証明可能に最適であり、SCS、CVXOPT、ECOSといった標準的なQPソルバーよりも最大60倍速い。
• 本手法はk-NNに対する形式的ロバストネス検証を最初に提供するものであり、デュアル解が敵対的摂動のきつい下限をもたらす。
• MNISTとFashion-MNISTにおいて、1-NNはクリーンエラーが高いために、CNN（100%の検証可能エラー）よりも低い検証可能ロバストネスエラー（27.06%および78.25%）を達成する。
• K > 1のK-NNでは、検証器がKに依存しない時間計算量で下限を計算し、QP-グリーディによる上限は、ナイーブなベースラインよりもきつい。
• スクリーニングルールにより、インスタンスあたりのQPの平均数が約54,000から2.53に削減され、顕著な効率向上が示された。