[논문 리뷰] Classification Under Misspecification: Halfspaces, Generalized Linear Models, and Connections to Evolvability

Sitan Chen, Frederic Koehler외 2명|arXiv (Cornell University)|2020. 06. 08.

Machine Learning and Algorithms참고 문헌 55인용 수 9

한 줄 요약

이 논문은 Massart 노이즈 하에서 반공간을 학습하기 위한 단순하고 적절한 학습 알고리즘을 제안하며, 최적의 분류기와의 오차를 η+ε 이내로 유지하고, 복잡한 모델을 강건하고 공정한 반공간으로 변환하는 새로운 지식 정제 프레임워크를 도입한다. 최적의 학습을 위한 초다항 통계적 질의 하한을 처음으로 확립하며, 강건성과 진화 가능성(evolvability)을 연결하고 강력한 경험적 공정성 성질을 보여준다.

ABSTRACT

In this paper we revisit some classic problems on classification under misspecification. In particular, we study the problem of learning halfspaces under Massart noise with rate $η$. In a recent work, Diakonikolas, Goulekakis, and Tzamos resolved a long-standing problem by giving the first efficient algorithm for learning to accuracy $η+ ε$ for any $ε> 0$. However, their algorithm outputs a complicated hypothesis, which partitions space into $ ext{poly}(d,1/ε)$ regions. Here we give a much simpler algorithm and in the process resolve a number of outstanding open questions: (1) We give the first proper learner for Massart halfspaces that achieves $η+ ε$. We also give improved bounds on the sample complexity achievable by polynomial time algorithms. (2) Based on (1), we develop a blackbox knowledge distillation procedure to convert an arbitrarily complex classifier to an equally good proper classifier. (3) By leveraging a simple but overlooked connection to evolvability, we show any SQ algorithm requires super-polynomially many queries to achieve $\mathsf{OPT} + ε$. Moreover we study generalized linear models where $\mathbb{E}[Y|\mathbf{X}] = σ(\langle \mathbf{w}^*, \mathbf{X} angle)$ for any odd, monotone, and Lipschitz function $σ$. This family includes the previously mentioned halfspace models as a special case, but is much richer and includes other fundamental models like logistic regression. We introduce a challenging new corruption model that generalizes Massart noise, and give a general algorithm for learning in this setting. Our algorithms are based on a small set of core recipes for learning to classify in the presence of misspecification. Finally we study our algorithm for learning halfspaces under Massart noise empirically and find that it exhibits some appealing fairness properties.

연구 동기 및 목표

• Massart 노이즈 하에서 반공간을 학습하는 데 있어 오랜 동안 남아있던 열린 문제, 특히 최적의 오차 보장을 갖는 적절한 학습 알고리즘이 부족한 문제를 해결하기 위해.
• 어떤 복잡한 분류기든 동일한 정확도를 유지하면서 적절한 반공간으로 변환하는 블랙박스 지식 정제 절차를 개발하기 위해.
• Massart 노이즈 하에서 반공간 학습에서 최적의 오차를 달성하기 위한 통계적 질의 하한을 처음으로 확립하기 위해, 학습 가능성과 진화 가능성의 개념을 연결하기 위해.
• 로지스틱 회귀를 포함한 기하급수적 링크 함수를 가진 일반선형모형(GLMs)으로 Massart 노이즈 모델을 더 풍부한 형태로 일반화하기 위해.
• 실제 데이터셋인 UCI Adult와 같은 데이터에서, 특히 민족적 특성에 의해 손상된 데이터 하에서 제안된 알고리즘의 공정성과 강건성을 경험적으로 검증하기 위해.

제안 방법

• 입력 공간을 다항식 수준의 영역으로 분할하지 않고도, 단일 선형 임계 함수를 출력하는 적절한 가설을 제공하는, 새로운 단순 알고리즘을 제안하여 Massart 노이즈 하에서 반공간을 학습한다.
• 현재 가설이 부정확하게 작동하는 입력 공간의 영역을 식별하고 수정하는 데 기반한 핵심 기법을 사용하며, 잘못된 분류 패tern을 탐지하기 위해 통계적 질의를 활용한다.
• 입력 공간의 기댓값이 E[Y|X] = σ(⟨w*, X⟩)인 일반화된 손상 모델을 도입하며, 여기서 σ는 홀수, 단조, L-Lipschitz 함수이며, 이는 더 넓은 적용 범위를 가능하게 한다.
• 어떤 복잡한 분류기(심지어 부적절한 것들이라도)에서라도 정확도를 유지하면서 적절한 반공간으로 성능을 이전하는 블랙박스 지식 정제 방법을 개발한다.
• 최적의 오차를 달성하는 데 필요한 어려움과 진화 가능성의 개념을 이론적으로 연결하여, 초다항 통계적 질의 하한을 도출한다.
• 대부분의 민족적 특성에 대해 목표로 한 Massart 노이즈를 적용한 UCI Adult 데이터셋에서 알고리즘을 경험적으로 평가하며, 다양한 모델 간의 공정성과 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 입력 공간을 poly(d,1/ε)개의 영역으로 분할하지 않고도, 임의의 ε>0에 대해 오차가 η+ε 이내인 적절한 학습 알고리즘을 반공간에 대해 Massart 노이즈 하에서 설계할 수 있는가?
• RQ2 어떤 복잡한 분류기든 동일한 예측 정확도를 유지하면서 적절한 반공간으로 변환하는 블랙박스 지식 정제 절차를 구성할 수 있는가?
• RQ3 Massart 노이즈 하에서 반공간 학습에서 최적의 오차(OPT+ε)를 달성하기 위한 기본적인 통계적 질의 복잡도의 한계는 무엇인가?
• RQ4 제안된 알고리즘이 데이터 손상 하에서 보호받는 민족적 집단에서의 거짓 음성 비율을 줄이는 데 있어 공정성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 프레임워크는 임의의 홀수, 단조, Lipschitz 링크 함수를 가진 일반선형모형(GLMs)으로 얼마나 넓게 일반화될 수 있는가?

주요 결과

• 제안된 알고리즘은 단일 선형 임계 함수를 사용하여 임의의 ε>0에 대해 오차가 η+ε 이내로 유지되며, 강건 학습 분야의 핵심 열린 문제를 해결한다.
• 실제 공정성 성질이 뚜렷하게 드러나며, 표준 모델인 로지스틱 회귀나 ReLU 기반 네트워크와 비교해 보호 그룹(예: 아프리카계 미국인, 여성, 이민자)에서 거짓 음성 비율이 크게 감소한다.
• 모든 분류기에서 동일한 테스트 정확도를 유지하면서 적절한 반공간으로 변환하는 지식 정제 절차를 개발하여, 강건하고 해석 가능한 모델을 가능하게 한다.
• 최적의 오차(OPT+ε)를 달성하기 위한 초다항 통계적 질의 하한을 처음으로 확립하며, 최적의 오차를 달성하기 위해서는 초다항 질의를 수행하지 않는 한 어떤 효율적인 통계적 질의 알고리즘도 성능을 내지 못함을 보여준다.
• 이론적 하한은 진화 가능성 개념과의 새로운 연결을 통해 유도되었으며, 이는 강건성과 학습 가능성의 개념이 계산 복잡성과 깊이 연결되어 있음을 시사한다.
• UCI Adult 데이터셋에서의 경험적 결과는, 민족적 특성이 제거된 상황에서도 FilterTron(제안된 방법)이 높은 정확도와 공정성을 유지하며, 로지스틱 회귀와 LeakyRelu 기반 경사하강법에 비해 공정성 지표에서 뛰어난 성능을 보여준다.