[논문 리뷰] Loss Minimization Yields Multicalibration for Large Neural Networks

Jarosław Błasiok, Parikshit Gopalan외 3명|arXiv (Cornell University)|2023. 04. 19.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 보호 그룹이 더 작은 신경망(크기 k)으로 표현 가능한 경우, 크기 n > k인 큰 신경망에서 제곱 손실을 최소화하면, 유한한 수의 '불운한' n 값 외에는 모든 경우에 다중교정성(multicalibration)을 달성함을 보여준다. 이 결과는 표준 손실 최소화와 다중교정성을 연결하며, 깊이 있는 신경망의 표현 능력을 활용해 명시적 후처리 없이 다양한 하위군에서의 교정성을 암묵적으로 만족시킴으로써 공정성과의 직접적인 연관성을 확립한다.

ABSTRACT

Multicalibration is a notion of fairness for predictors that requires them to provide calibrated predictions across a large set of protected groups. Multicalibration is known to be a distinct goal than loss minimization, even for simple predictors such as linear functions. In this work, we consider the setting where the protected groups can be represented by neural networks of size $k$, and the predictors are neural networks of size $n > k$. We show that minimizing the squared loss over all neural nets of size $n$ implies multicalibration for all but a bounded number of unlucky values of $n$. We also give evidence that our bound on the number of unlucky values is tight, given our proof technique. Previously, results of the flavor that loss minimization yields multicalibration were known only for predictors that were near the ground truth, hence were rather limited in applicability. Unlike these, our results rely on the expressivity of neural nets and utilize the representation of the predictor.

연구 동기 및 목표

• 크기 n > k인 큰 신경망에서 표준 손실 최소화가 다양한 하위군에서 예측을 교정해야 하는 공정성 기준인 다중교정성을 유도할 수 있는지 조사하기.
• 크기 n > k인 큰 신경망의 표현 능력이 명시적 공정성 제약 조건이나 후처리 없이 암묵적인 다중교정성을 유도할 수 있는지 확인하기.
• 크기 n > k인 더 큰 가설 클래스에서의 손실 최소화가 크기 k의 네트워크로 표현 가능한 하위군에서 다중교정성을 유도하는 조건을 분석하기.
• 딥 러닝 모델이 최적화 과정만으로도 자연스럽게 다중교정성과 같은 공정성 특성을 달성할 수 있는 이론적 근거를 제공하기.

제안 방법

• Kim 등(2022)의 정의를 사용해 다중교정성을 감시자 함수와 예측 오차 간의 내적에 대한 제약 조건으로 수식화하기.
• 보호 그룹을 크기 k의 신경망으로, 예측기는 크기 n > k인 신경망으로 모델링하기.
• 표현 이론적 추론을 사용해, 크기 n의 네트워크에서의 손실 최소화 과정이 모든 유한한 수의 n 제외한 나머지 경우에 대해 다중교정성을 자연스럽게 만족함을 보여주기.
• 이중성과 근사 이론을 적용해 다중교정성이 실패할 수 있는 '불운한' n 값의 수를 한계로 제한하기.
• 신경망이 다중교정성을 위해 필요한 후처리 단계를 닫혀 있음을 활용해, 최적화를 통해 교정된 예측기를 구성할 수 있음을 보여주기.
• 현재 증명 기법 하에서 불운한 n 값의 수에 대한 한계가 날카로운지에 대한 증거 제공하기.

실험 결과

연구 질문

• RQ1 크기 n > k인 큰 신경망에서 제곱 손실을 최소화하면, 크기 k의 더 작은 네트워크로 정의된 하위군에서 다중교정성이 달성되는가?
• RQ2 크기 n > k인 큰 신경망의 표현 능력이 명시적 공정성 제약 조건이나 후처리 없이 암묵적으로 다중교정성을 강제할 수 있는가?
• RQ3 다중교정성이 실패할 수 있는 '불운한' n 값(예측기 네트워크 크기)은 몇 개인가?
• RQ4 현재 증명 틀 하에서 불운한 n 값의 수에 대한 한계가 날카로운가?
• RQ5 표준 딥 러닝 최적화가 진정한 지도가 존재하지 않는 경우에도 다중교정성과 같은 공정성 기준을 암묵적으로 만족시킬 수 있는가?

주요 결과

• 크기 n > k인 신경망에서 제곱 손실을 최소화하면, 크기 k 네트워크로 표현 가능한 감시자 함수의 클래스 C에 대해 유한한 수의 n 값을 제외한 모든 n에 대해 (C, γ)-다중교정성이 달성된다.
• 다중교정성이 실패할 수 있는 '불운한' n 값의 수는 유한하며, 이에 대한 한계는 현재 증명 기법 하에서 날카로운 것으로 밝혀졌다.
• 기본 진리가 가설 클래스 내에 실현 가능하지 않아도 결과가 성립하므로, 현실적인 설정에서 자주 발생하는 완전한 실현 가능성의 부재에도 적용 가능하다.
• 증명는 신경망의 표현 능력과 다중교정성을 위해 필요한 후처리 단계에 대해 신경망이 닫혀 있음을 활용한다.
• 이 작업은 표준 손실 최소화를 통해 딥 뉴럴 네트워크 학습이 다양한 하위군에서 자연스럽게 공정한 예측을 도출할 수 있는 이론적 근거를 제공한다.
• 연구 결과는 실무자들이 지역 최소값을 피하는 반복 최적화와 함께 손실 최소화를 수행할 경우, 다중교정성이 달성될 가능성이 높다는 것을 시사한다.