[논문 리뷰] Sample Complexity of Uniform Convergence for Multicalibration

Eliran Shabat, Lee M. Cohen외 1명|arXiv (Cornell University)|2020. 05. 04.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 9

한 줄 요약

이 논문은 유한 및 무한 예측자 클래스에서 다중 校정 오차의 균일 수렴에 대한 표본 복잡도 한계를 설정하며, 이전 연구를 넘어선 일반화를 위해 그래프 차원을 사용한다. 이는 객관적 복잡도 인식을 반영한 더 날카운 복잡도 한계를 제공하여, 경험적 다중 校정 오차와 진짜 다중 校정 오차가 가까워지게 하며, 예측 정확도와 무관하게 신뢰할 수 있는 공정성 평가를 가능하게 한다.

ABSTRACT

There is a growing interest in societal concerns in machine learning systems, especially in fairness. Multicalibration gives a comprehensive methodology to address group fairness. In this work, we address the multicalibration error and decouple it from the prediction error. The importance of decoupling the fairness metric (multicalibration) and the accuracy (prediction error) is due to the inherent trade-off between the two, and the societal decision regarding the "right tradeoff" (as imposed many times by regulators). Our work gives sample complexity bounds for uniform convergence guarantees of multicalibration error, which implies that regardless of the accuracy, we can guarantee that the empirical and (true) multicalibration errors are close. We emphasize that our results: (1) are more general than previous bounds, as they apply to both agnostic and realizable settings, and do not rely on a specific type of algorithm (such as deferentially private), (2) improve over previous multicalibration sample complexity bounds and (3) implies uniform convergence guarantees for the classical calibration error.

연구 동기 및 목표

• 하나의 하위집단에 걸쳐 경험적 다중 校정 오차가 진짜 다중 校정 오차에 가까워지도록 보장하는 통계적 과제를 해결한다.
• 공정성(다중 校정)을 예측 정확도에서 분리하여 규제 및 사회적 트레이드오프 결정을 지원한다.
• 모든 알고리즘에 관계없이 적용 가능한, 객관적 및 실현 가능한 학습 설정 모두에 적용 가능한 일반적인 알고리즘 무관 표본 복잡도 한계를 제공한다.
• 고전적 校정 오차에 대한 균일 수렴 보장을 특수 케이스로 확장한다.
• 신뢰할 수 있는 다중 校정 추정을 위해 필요한 표본 크기의 날카운 상한 및 하한을 유도한다.

제안 방법

• 무한 예측자 클래스의 복잡도 측정으로서 그래프 차원을 사용하여 VC 차원을 다중 校정으로 일반화한다.
• 대칭화 및 라데마처 복잡도를 통한 균일 수렴 기법을 적용하여 경험적 다중 校정 오차와 진짜 다중 校정 오차 간의 이탈을 제한한다.
• 연속적인 예측 값(예: [0,1])을 유한한 값 집합으로 이산화하여 유한한 근사치를 도입하며, 오차 손실을 통제한다.
• 집중 불등식(예: 헤프딩 부등식)을 활용하여 하위집단 수준의 예측 및 실현 값 간의 이질성에 대한 한계를 설정한다.
• 편향된 동전 식별 문제로의 감소를 통해 하한을 증명하여, 표본 복잡도 하한이 Ω(1/(ψγε²) log(1/δ))임을 입증한다.
• 하위집단 샘플링 및 예측 일致성에 관한 보조정리를 사용하여 각 하위집단 및 예측 값 별 오차를 통제한다.

실험 결과

연구 질문

• RQ1 모든 하위집단과 예측 값에 대해 다중 校정 오차의 균일 수렴을 보장하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ2 표본 복잡도는 특히 객관적 설정에서 예측자 클래스의 복잡도에 어떻게 의존하는가?
• RQ3 연속적인 예측 출력에 대해 다중 校정의 균일 수렴 한계를 뚜렷한 오차 증가 없이 확장할 수 있는가?
• RQ4 다중 校정 균일 수렴에 대한 가장 날카운 가능한 표본 복잡도 하한은 무엇인가?
• RQ5 그래프 차원과 하위집단 크기는 다중 校정 오차의 일반화에 어떻게 영향을 미치는가?

주요 결과

• 크기가 |H|인 유한 가설 클래스의 경우, (ε, γ, ψ)-균일 다중 校정 수렴을 달성하기 위해 필요한 표본 크기는 O((1/ε²) log(|H|/δ))이다.
• 그래프 차원 d_G(H) ≤ d인 무한 클래스의 경우, 표본 복잡도는 O((1/ε²ψ²γ)(d + log(|Γ||Y|/δ)))이며, 이는 이전의 결과를 향상시킨다.
• 표본 복잡도의 하한은 Ω(1/(ψγε²) log(1/δ))이며, 상한과 ε 및 γ에 대한 의존성은 로그 인자 외에는 일치한다.
• 결과는 하위집단이 예측 값에 의해 정의될 때 고전적 校정 오차에 대한 균일 수렴을 특수 케이스로 암시한다.
• 이전의 연구들과 달리, 이 결과는 실현 가능성 또는 특정 알고리즘 가정이 필요 없이 객관적 및 실현 가능한 설정 모두에서 유효하다.
• 연속 예측을 유한한 값 집합으로 이산화할 경우 최대 λ의 오차가 발생하지만, 그래프 차원은 1/λ 비례로 증가하며, 프레임워크는 여전히 일반화 가능하다.