[論文レビュー] PAC-Learning for Strategic Classification

Ravi Sundaram, Anil Vullikanti+2 more|arXiv (Cornell University)|Dec 6, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 4

ひとこと要約

本稿では、戦略的分類のための統一的枠組みを提示し、データポイントが分類結果に対して異なった好みを持つ状況に一般化されたPAC学習可能性を捉えるために、戦略的VC次元（SVC）を導入する。線形分類器の戦略的操作下での統計的学習可能性と計算複雑性を完全に特徴づけ、SVCが常に標準VC次元によって上界で抑えられることを示し、一般のコスト関数下での経験的リスク最小化のNP困難性を証明する。

ABSTRACT

The study of strategic or adversarial manipulation of testing data to fool a classifier has attracted much recent attention. Most previous works have focused on two extreme situations where any testing data point either is completely adversarial or always equally prefers the positive label. In this paper, we generalize both of these through a unified framework for strategic classification, and introduce the notion of strategic VC-dimension (SVC) to capture the PAC-learnability in our general strategic setup. SVC provably generalizes the recent concept of adversarial VC-dimension (AVC) introduced by Cullina et al. arXiv:1806.01471. We instantiate our framework for the fundamental strategic linear classification problem. We fully characterize: (1) the statistical learnability of linear classifiers by pinning down its SVC; (2) its computational tractability by pinning down the complexity of the empirical risk minimization problem. Interestingly, the SVC of linear classifiers is always upper bounded by its standard VC-dimension. This characterization also strictly generalizes the AVC bound for linear classifiers in arXiv:1806.01471.

研究の動機と目的

• 完全に敵対的または一様に肯定的な好みのみを扱う既存の文献のギャップを埋めるために、任意の好み分布を想定した戦略的分類の統一的枠組みを提示すること。
• データポイントが分類結果に実数値の好み r ∈ ℝ を持つ戦略的状況において、統計的学習可能性の尺度としての戦略的VC次元（SVC）の概念を形式化すること。
• 一般のコスト関数と好み集合を想定した下で、線形分類器の統計的学習可能性を、そのSVCの正確な値を導出することで特徴づけること。
• 一般のコスト関数と好み集合下での経験的リスク最小化（ERM）の計算複雑性を分析し、NP困難性を証明すること。
• Cullinaら（2018）が導入した敵対的VC次元（AVC）を拡張し、SVCがAVCを一般化し、線形分類器に対してより厳密かつ包括的な境界を提供すること。

提案手法

• データポイントが正ラベルに対する実数値の好み r ∈ ℝ を持つ戦略的分類における学習の複雑性を捉えるために、新たな戦略的VC次元（SVC）の概念を提案する。
• 各データポイントが、期待効用 r·𝕀(h(z)=1) − c(z;x) を最大化するために合理的に特徴量を操作するようにモデル化し、これをスタックルベルクゲームとして定式化する。ここで c はコスト関数である。
• 一般のコスト関数と好み集合を想定した下で、線形仮説クラスのSVCを導出し、線形分類器の統計的学習可能性を分析する。
• 線形分類器のSVCが、常にその標準VC次元によって上界で抑えられることを証明し、Cullinaら（2018）の敵対的VC次元（AVC）に関する先行結果を一般化する。
• 分割問題（partition problem）を戦略的分類インスタンスに還元することで、一般のコスト関数と好み集合下での経験的リスク最小化（ERM）問題のNP困難性を証明する。
• ラベル付きデータポイント、コスト関数、好み値を明示的に構築することで、対称的および非対称的な好みの両方の状況において、NP困難性を示す具体的な難問インスタンスを提示する。

実験結果

リサーチクエスチョン

• RQ1 完全に敵対的または一様に肯定的な好みを仮定する従来の戦略的分類モデルを、任意の好み分布を許容する統一的枠組みに一般化するにはどうすればよいか？
• RQ2 異なった好みを伴う戦略的分類におけるPAC学習可能性を捉える適切なVC次元の概念は何か？
• RQ3 線形分類器の戦略的VC次元（SVC）は、その標準VC次元とどのように関係しているか？
• RQ4 戦略的線形分類における経験的リスク最小化（ERM）問題は計算的に容易か、それともNP困難か？
• RQ5 既知のNP困難問題（例：分割問題）から戦略的分類インスタンスへの還元を構築することで、ERMの困難性を証明できるか？

主な発見

• 線形分類器の戦略的VC次元（SVC）は、常にその標準VC次元によって上界で抑えられ、強力な統計的一般化保証を提供する。
• 本稿で提示されたSVCは、Cullinaら（2018）が導入した敵対的VC次元（AVC）を一般化し、非敵対的かつ異なった好みの状況への適用可能性を拡張する。
• 一般のコスト関数と好み集合下での戦略的線形分類における経験的リスク最小化（ERM）問題はNP困難である。これは、好みが有界で、コスト関数が二次関数であっても同様に成り立つ。
• 分割問題を戦略的分類インスタンスに還元することで、ERMのNP困難性を証明し、一般のコスト関数下での計算的非効率性を確立する。
• 構築された難問インスタンスは、混合好みと非対称コスト関数を伴う戦略的操作が、好みが完全に敵対的でない場合でもNP困難性を維持できることを示している。