[논문 리뷰] Moment Multicalibration for Uncertainty Estimation

Christopher Jung, Chang Hwa Lee외 3명|arXiv (Cornell University)|2020. 08. 18.

Machine Learning and Algorithms참고 문헌 29인용 수 12

한 줄 요약

이 논문은 특성에 조건부로 레이블 분포의 평균 이외에도 고차원 모멘트(예: 분산, 왜도)를 추정할 수 있도록 다중교정(multicalibration)을 확장하는 moment multicalibration 프레임워크를 제안한다. 이는 미세한 하위집단에 걸쳐 모멘트 추정치가 교정되어 다양한 하위집단에서 동시에 유효한 예측 구간을 제공함으로써, 예측의 공정성 문제를 진단하고 공식적인 통계적 보장을 갖춘 불확실성 인식형, 하위집단에 강건한 예측을 가능하게 한다.

ABSTRACT

We show how to achieve the notion of "multicalibration" from Hébert-Johnson et al. [2018] not just for means, but also for variances and other higher moments. Informally, it means that we can find regression functions which, given a data point, can make point predictions not just for the expectation of its label, but for higher moments of its label distribution as well-and those predictions match the true distribution quantities when averaged not just over the population as a whole, but also when averaged over an enormous number of finely defined subgroups. It yields a principled way to estimate the uncertainty of predictions on many different subgroups-and to diagnose potential sources of unfairness in the predictive power of features across subgroups. As an application, we show that our moment estimates can be used to derive marginal prediction intervals that are simultaneously valid as averaged over all of the (sufficiently large) subgroups for which moment multicalibration has been obtained.

연구 동기 및 목표

• 비모수적 회귀에서의 원칙적인 불확실성 추정 부족, 특히 특성 기반 하위집단에 대한 개인 예측에 초점을 맞춘다.
• 원래 평균 예측 전용이었던 다중교정 개념을 분산 및 중심모멘트와 같은 고차 모멘트로 확장한다.
• 특성 기반 분할로 정의된 모든 상당히 큰 하위집단에서 동시에 유효한 예측 구간을 구성하는 방법을 제공한다.
• 특정 하위집단에서 모멘트 추정치(예: 분산)가 체계적으로 높거나 정확도가 떨어지는지를 감지함으로써 예측의 공정성 문제를 진단할 수 있도록 한다.
• moment multicalibration 하에서 마진형 예측 구간의 커버리지 확률에 대한 형식화된 보장을 제공하며, 복잡하고 겹치는 하위집단에 조건부로 적용해도 유효하다.

제안 방법

• 모든 하위집단이 사전 정의된 그룹 가족에 속할 때, 예측된 모멘트(평균, 분산 등)가 그룹 평균에서 진짜 조건부 모멘트와 일치하도록 보장하는 moment multicalibration의 개념을 제안한다.
• 예측 평균 및 모멘트 추정치의 근사 오차를 제어하는 (α,β,ε)-평균 조건부 모멘트 다중교정 개념을 도입한다.
• 예측된 평균 및 모멘트 값 기반으로 데이터 포인트를 그룹화하는 이산화 기법을 사용한다(예: i/m 및 j/m), 하위집단 G(μ̄, m̄k, i, j)를 형성한다.
• 레퍼런스 모멘트 추정치에 기반해 예측 평균에서의 레이블 이탈 확률의 꼬리 확률을 제한하기 위해 일반화된 체비세프 유형 부등식(Lemma 5.1)을 적용한다.
• 예측된 평균 μ̄(x)과 모멘트 m̄k(x)를 사용하여 [ℓ(x), u(x)] 형태의 예측 구간을 구성하며, 구간의 경계는 모멘트 기반 이격 임계값에서 유도된다.
• Hébert-Johnson 등(2018)의 기존 다중교정 알고리즘을 기반으로 하되, 모든 하위집단에서 동시에 모멘트 추정치를 교정하도록 확장한다.

실험 결과

연구 질문

• RQ1 다중교정은 평균 예측을 넘어서 분산, 왜도와 같은 고차 모멘트로 확장될 수 있는가?
• RQ2 모멘트 다중교정된 예측기로는 모든 상당히 큰 하위집단에서 동시에 유효한 예측 구간을 구성할 수 있는가?
• RQ3 모멘트 다중교정은 인구통계학적 또는 특성 기반 하위집단 간 예측 성능의 공정성 문제를 어떻게 진단하고 도와줄 수 있는가?
• RQ4 모멘트 다중교정된 추정치에서 유도된 예측 구간의 커버리지 확률에 대한 이론적 보장은 무엇인가?
• RQ5 예를 들어 분산과 첨도와 같은 다수의 모멘트 추정치를 효과적으로 조합하여 예측 구간의 품질을 향상시킬 수 있는가?

주요 결과

• 논문은 (α,β,ε)-평균 조건부 모멘트 다중교정 하에서, 모멘트 추정치로부터 유도된 예측 구간이 확률 질량 ≥γ인 모든 하위집단 G에서 최소 1−δ의 커버리지 확률을 확보함을 증명한다.
• 유도된 예측 구간은 예측된 평균 및 모멘트 값의 이산화된 예측에 의해 정의된 하위집단에 대해 조건부로 유효하여 하위집단별 신뢰성 보장이 가능하다.
• 복잡하고 겹치는 하위집단에 조건부로 적용해도, 레이블이 예측 구간을 벗어나는 확률이 δ 이하로 제한됨을 보장한다.
• 프레임워크는 다중교정된 모멘트 추정치를 통해 높은 예측 불확실성(예: 높은 분산)을 가진 하위집단을 식별할 수 있어, 잠재적 공정성 문제를 경고할 수 있다.
• 절대 중심모멘트를 통한 홀수차 모멘트로의 일반화가 가능하며, 적절한 꼬리 경계를 갖춘다면 모든 모멘트 차수 k에 대해 이론적 보장이 유지된다.
• 다중 모멘트 최적 활용은 아직 열려있는 문제이지만, 프레임워크는 하위집단 비용 최소화 문제로 환원되며, 향후 근사 개선 가능성을 시사한다.