[論文レビュー] Near-Optimal Evasion of Convex-Inducing Classifiers

Blaine Nelson, Benjamin I. P. Rubinstein+7 more|arXiv (Cornell University)|Mar 14, 2010

Machine Learning and Algorithms参考文献 6被引用数 13

ひとこと要約

本稿では、分類境界の逆設計を伴わずに、最小コストに近いインスタンスを構築することで、線形モデルや異常検出モデルなどの凸誘導分類器に対する効率的なクエリベースの回避攻撃を提示する。この手法は、凸な負例領域内での反復的ハイパーハイパープランのカットとサンプリングを用い、多項式時間のクエリ複雑性を達成し、線形分類器において従来の逆設計手法を上回る性能を発揮する。

ABSTRACT

Classifiers are often used to detect miscreant activities. We study how an adversary can efficiently query a classifier to elicit information that allows the adversary to evade detection at near-minimal cost. We generalize results of Lowd and Meek (2005) to convex-inducing classifiers. We present algorithms that construct undetected instances of near-minimal cost using only polynomially many queries in the dimension of the space and without reverse engineering the decision boundary.

研究の動機と目的

• 攻撃者が検知を回避しつつコストを最小化できるように、凸誘導分類器に対する効率的な回避戦略を開発すること。
• 一般に計算が困難である分類器の意思決定境界の逆設計を回避すること。
• 入力次元に対して多項式的クエリ数に収まるアルゴリズムを設計し、スケーラビリティを確保すること。
• 線形分類器に限らない、境界が凸であるような異常検出器などの広いクラスにまで近最適な回避を拡張すること。
• 部分観測性と特徴制約の下でも動作する実用的な敵対的プローブフレームワークを提供すること。

提案手法

• メンバーーシップクエリを用いた反復的ハイパーハイパープランのカットにより、負例領域を縮小し、凸な負例空間からの一様なサンプル集合を維持する。
• RoundingBodyアルゴリズムを用いて負例クラスをほぼ等方的な凸体に変換し、効率的なサンプリングと探索を可能にする。
• 各カット後にhit-and-run法を適用して点を再サンプリングし、一様性を保ちつつ十分なサンプルサイズを維持する。
• コストレベルに対する二分探索とIntersectSearchを組み合わせ、重み付きℓ₁球内での最小コスト回避インスタンスを特定する。
• コストCにおける分離超平面は、それ以下のコストを持つすべての点に対しても有効であるという事実を活用し、探索状態の再利用を可能にする。
• SetSearch（アルゴリズム3.8）を導入し、反復的にコスト区間を精緻化し、保証されたクエリ効率でϵ-IMAC解に収束させる。

実験結果

リサーチクエスチョン

• RQ1 意思決定境界の逆設計を伴わず、凸誘導分類器に対して近最適な回避が達成可能か？
• RQ2 凸な負例クラス設定下で、近似的最小コストインスタンスを構築するためのクエリ複雑度は何か？
• RQ3 線形分類器において、クエリベース回避の性能は逆設計アプローチと比べてどうか？
• RQ4 負例クラスが凸である場合、確率的楕円体法は回避問題を効率的に解けるか？
• RQ5 部分観測性と近似クエリの下で、ϵ-IMAC探索の実現可能性にどのような影響があるか？

主な発見

• 提案されたアルゴリズムは、入力次元に対して多項式的クエリ複雑性を達成し、凸誘導分類器に対してϵ-IMAC（近最適な回避）を実現する。
• 線形分類器において、本手法はLowdとMeek（2005）の逆設計手法よりも少ないクエリ数で動作する。
• hit-and-runサンプリングと反復的ハイパーハイパープランのカットの組み合わせにより、凸な負例領域からの一様なサンプル集合が維持され、効率的な探索が可能になる。
• 意思決定境界の完全な推定を回避できるため、高次元空間ではしばしば非現実的または計算コストが高くなる場合でも有効である。
• 正例クラスが凸である場合、重み付きℓ₁球内での探索により、近似的最小コストインスタンスを効率的に特定できる。
• 部分観測性の下でも堅牢であり、特徴マッピングやノイズのあるクエリといった実世界の制約にも適応可能である。