[논문 리뷰] Constrained Classification and Policy Learning

Toru Kitagawa, Shosei Sakaguchi외 1명|arXiv (Cornell University)|2021. 06. 24.

Advanced Causal Inference Techniques참고 문헌 58인용 수 26

한 줄 요약

요약: 이 논문은 제약된 분류기 집합에서 대리 손실 방법이 일관성을 유지하는 시점을 분석하고, 두 번째로 좋은(제한된) 시나리오에서 일관성을 보존하는 것은 힌지 손실이 고유하다는 것을 보이며, 분류 및 정책 학습을 위한 단조롭고 제약 친화적인 힌지 손실 절차를 개발한다.

ABSTRACT

Modern machine learning approaches to classification, including AdaBoost, support vector machines, and deep neural networks, utilize surrogate loss techniques to circumvent the computational complexity of minimizing empirical classification risk. These techniques are also useful for causal policy learning problems, since estimation of individualized treatment rules can be cast as a weighted (cost-sensitive) classification problem. Consistency of the surrogate loss approaches studied in Zhang (2004) and Bartlett et al. (2006) crucially relies on the assumption of correct specification, meaning that the specified set of classifiers is rich enough to contain a first-best classifier. This assumption is, however, less credible when the set of classifiers is constrained by interpretability or fairness, leaving the applicability of surrogate loss based algorithms unknown in such second-best scenarios. This paper studies consistency of surrogate loss procedures under a constrained set of classifiers without assuming correct specification. We show that in the setting where the constraint restricts the classifier's prediction set only, hinge losses (i.e., $\ell_1$-support vector machines) are the only surrogate losses that preserve consistency in second-best scenarios. If the constraint additionally restricts the functional form of the classifier, consistency of a surrogate loss approach is not guaranteed even with hinge loss. We therefore characterize conditions for the constrained set of classifiers that can guarantee consistency of hinge risk minimizing classifiers. Exploiting our theoretical results, we develop robust and computationally attractive hinge loss based procedures for a monotone classification problem.

연구 동기 및 목표

• 해석 가능성, 공정성 또는 기타 외생 제약에 의해 예측 집합이 제한된 이진 분류를 동기 부여하고 형식화한다.
• 제약된 분류기 가족에서의 위험 최소화가 위험 일관성을 유지하는지 여부를 특징짓는다.
• 히지 손실이 제약된 두 번째 최적 설정에서 일관성을 보존하는지 여부를 확인하고, 그렇지 않은 경우를 파악한다.
• 제약 하에서의 단조 분류를 위한 실질적이고 계산적으로 효율적인 힌지 손실 기반 절차를 개발한다.
• 제약 분류 결과를 인과 정책 학습 및 공정성 또는 단조성 제약 하의 처리 배정과 연결한다.

제안 방법

• X에서 실행 가능한 영역의 클래스 G로 예측 집합을 제한하여 제약 분류자 클래스를 정의한다.
• 분류 보정 손실 φ를 사용한 대리 손실 최소화를 이용하고 R- 및 R_φ-오차를 분석한다.
• 힌지 손실 φ_h(α)=c max{0,1−α}가 두 번째 최적 제약 분류기에 대해 일관성을 보장하는 유일한 대리 손실임을 보인다.
• F_G의 분류 보존 감소를 통해 제약된 추가 함수 형태 제한 하에서 일관성의 충분 조건을 특징짓는다.
• 단조 예측 집합 G_M과 대응 함수 클래스 F_M으로 제한하여 단조 분류 절차를 개발하고, 이는 볼록 최적화와 체 선형 근사(Bernstein 다항식 근사)를 가능하게 한다.
• 처리 배정을 가중 분류 문제로 구성하고 사회복지와 가중 오분류 위험과의 관계를 통해 정책 학습으로 확장되며, 이로써 공정성이나 단조성 제약 하에서의 최적 처리 규칙을 보인다.

실험 결과

연구 질문

• RQ1 제약된 분류기 집합 F_G에서 대리 위험 최소화가 실제 분류 위험 R을 F_G에 대해 최소화하는 분류기를 산출하는가?
• RQ2 두 번째 최적(제약된) 분류에서 일관성을 보존하는 대리 손실은 힌지 손실뿐인가?
• RQ3 G-제약 예측 집합을 넘어서는 추가 함수 형태 제한이 힌지 위험 최소화의 일관성에 어떤 영향을 미치는가?
• RQ4 일관성을 유지하는 계산적으로 효율적이고 단조로운(다른 제약 기반) 힌지 손실 절차를 설계할 수 있는가?
• RQ5 단조성이나 공정성 제약 하에서의 제약된 분류 결과가 인과 정책 학습 및 처리 배정에 어떻게 연결되는가?

주요 결과

• 히지 손실은 G-제약 예측 집합 하에서 두 번째 최적 분류기에 대해 일관성을 보장하는 유일한 대리 손실이다.
• 제약이 분류기의 함수 형태를 추가로 제한하는 경우, 힌지 손실이어도 일관성이 실패할 수 있다.
• 추가 함수 형태 제한을 통한 분류 보존 감소를 통해 힌지-위험 최소화의 일관성을 보장하는 간단하고 확인 가능한 충분 조건을 제시한다.
• 단조 예측 집합 G_M으로의 예측으로 제약된 감소를 통해 일관성을 보존하는 방법이 가능하며, 볼록성으로 인해 유한 차원의 선형 계획법을 가능하게 한다.
• Bernstein 다항식으로의 체 선형 근사를 이용한 체(베스트) 접근법은 단조 분류기의 추정에 대해 실용적이고 계산적으로 효율적이며 R(f̂_M)→inf_{f∈F_M} R(f)로 수렴을 보장한다.
• 제약된 대리 위험 프레임워크는 정책 학습으로 확장되며, 최적의 처리 규칙은 최적의 가중 분류기에 대응하고 단조 제약은 혼합 정수 방법보다 계산 효율을 향상시킨다.