[논문 리뷰] PAC-Learning for Strategic Classification

Ravi Sundaram, Anil Vullikanti외 2명|arXiv (Cornell University)|2020. 12. 06.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 전략적 분류에서 데이터 포인트가 분류 결과에 대해 이질적인 선호도를 가질 수 있는 설정으로 일반화된 PAC-학습 가능성을 다루기 위해 통합 프레임워크를 제안한다. 이를 위해 전략적 VC-차원(SVC)을 도입하며, 이는 데이터 포인트가 분류 결과에 대해 이질적인 선호도를 가진 설정으로 일반화된 PAC-학습 가능성을 다룬다. 선형 분류기의 통계적 학습 가능성과 계산 복잡도를 완전히 특성화하며, SVC가 항상 표준 VC-차원에 의해 상한으로 제한됨을 보이고, 일반 비용 함수 하에서 경험 리스크 최소화의 NP-난이도를 증명한다.

ABSTRACT

The study of strategic or adversarial manipulation of testing data to fool a classifier has attracted much recent attention. Most previous works have focused on two extreme situations where any testing data point either is completely adversarial or always equally prefers the positive label. In this paper, we generalize both of these through a unified framework for strategic classification, and introduce the notion of strategic VC-dimension (SVC) to capture the PAC-learnability in our general strategic setup. SVC provably generalizes the recent concept of adversarial VC-dimension (AVC) introduced by Cullina et al. arXiv:1806.01471. We instantiate our framework for the fundamental strategic linear classification problem. We fully characterize: (1) the statistical learnability of linear classifiers by pinning down its SVC; (2) its computational tractability by pinning down the complexity of the empirical risk minimization problem. Interestingly, the SVC of linear classifiers is always upper bounded by its standard VC-dimension. This characterization also strictly generalizes the AVC bound for linear classifiers in arXiv:1806.01471.

연구 동기 및 목표

• 기존 문헌이 완전히 적대적이거나 균일하게 양의 선호도를 가진 극단적 케이스만 다루는 데서 비롯된 격차를 메우기 위해, 임의의 선호도 분포를 가진 전략적 분류의 통합 프레임워크를 제안한다.
• 데이터 포인트가 분류 결과에 대해 전략적으로 특징을 변경하여 영향을 미치는 전략적 설정에서 통계적 학습 가능성을 측정하는 도구로 전략적 VC-차원(SVC)의 개념을 공식화한다.
• 일반 비용 함수와 선호도 집합 하에서 선형 분류기의 통계적 학습 가능성을 특성화하기 위해 그 SVC의 정확한 값을 도출한다. 이를 통해 SVC가 항상 표준 VC-차원에 의해 상한으로 제한됨을 보인다.
• 일반 비용 함수와 선호도 집합 하에서 경험 리스크 최소화(ERM)의 계산 복잡도를 분석하며, NP-난이도를 증명한다.
• 기존의 적대적 VC-차원(AVC) 연구를 확장하여, SVC가 AVC를 일반화하고 선형 분류기의 경우 더 날카롭고 종합적인 경계를 제공함을 보인다.

제안 방법

• 데이터 포인트가 양의 레이블에 대해 실수값 선호도 r ∈ ℝ를 가진 설정에서 학습 복잡도를 캡처하는 새로운 전략적 VC-차원(SVC) 개념을 제안한다.
• 각 데이터 포인트가 자신의 기대 효용 r·𝕀(h(z)=1) − c(z;x)를 극대화하기 위해 합리적으로 특징을 조작하는 것으로 전략적 행동을 스택엘베르크 게임로 모델링한다. 여기서 c는 비용 함수이다.
• 일반 비용 함수와 선호도 집합 하에서 선형 가설 클래스의 SVC를 유도함으로써 선형 분류기의 통계적 학습 가능성을 분석한다.
• 선형 분류기의 SVC가 항상 표준 VC-차원에 의해 상한으로 제한됨을 증명하며, 이는 Cullina 등(2018)이 도입한 이전의 적대적 VC-차원(AVC) 결과를 일반화한다.
• 일반 비용 함수와 선호도 집합 하에서 경험 리스크 최소화(ERM) 문제의 NP-난이도를 증명하기 위해 분할 문제를 전략적 분류 사례로 환원한다.
• 특정한 어려운 사례를 구성하여 레이블이 부여된 데이터 포인트, 비용 함수, 선호도 값을 제공함으로써 대칭적 및 비대칭적 선호도 상황 모두에서 NP-난이도를 입증한다.

실험 결과

연구 질문

• RQ1 완전히 적대적이거나 균일하게 양의 선호도를 가진다고 가정하는 기존의 전략적 분류 모델을 이질적인 선호도를 가진 통합 프레임워크로 일반화할 수 있는가?
• RQ2 이질적인 선호도를 가진 전략적 분류에서 PAC-학습 가능성을 캡처하는 데 적합한 VC-차원의 개념은 무엇인가?
• RQ3 선형 분류기의 전략적 VC-차원(SVC)은 그 표준 VC-차원과 어떻게 관련이 있는가?
• RQ4 전략적 선형 분류의 경험 리스크 최소화(ERM) 문제는 계산적으로 다룰 수 있는가, 아니면 NP-난이도인가?
• RQ5 기존의 알려진 NP-난이도 문제(예: 분할 문제)에서 전략적 분류 사례로의 환원을 통해 ERM의 난이도를 증명할 수 있는가?

주요 결과

• 선형 분류기의 전략적 VC-차원(SVC)은 항상 그 표준 VC-차원에 의해 상한으로 제한되며, 이는 강력한 통계적 일반화 보장을 제공한다.
• 제안된 SVC는 Cullina 등(2018)이 도입한 적대적 VC-차원(AVC)을 일반화하며, 비적대적 및 이질적인 선호도 설정으로의 적용 가능성을 확장한다.
• 일반 비용 함수와 선호도 집합 하에서 전략적 선형 분류의 경험 리스크 최소화(ERM) 문제는 NP-난이도이다. 선호도가 유계이고 비용 함수가 이차함수일 때조차도 마찬가지이다.
• 분할 문제에서 전략적 분류 사례로의 환원을 통해 ERM의 NP-난이도를 증명함으로써, 일반 비용 함수 하에서의 계산 불가능성을 확립한다.
• 구성된 어려운 사례들은 혼합된 선호도와 비대칭 비용 함수를 가진 전략적 조작이 조차도 NP-난이도를 유지함을 보여주며, 선호도가 완전히 적대적이지 않은 경우에도 마찬가지이다.