[논문 리뷰] Loss Minimization Through the Lens Of Outcome Indistinguishability

Parikshit Gopalan, Lunjia Hu외 3명|arXiv (Cornell University)|2022. 10. 16.

Bayesian Modeling and Causal Inference인용 수 3

한 줄 요약

이 논문은 손실 최소화와 옴니예측을 통합하는 새로운 프레임워크인 손실 결과 불가분성(Loss OI)을 소개한다. 이 프레임워크는 손실의 클래스에 따라 유도된 통계적 검증을 통해 예측기가 자연의 진짜 결과 확률 분포와 계산적으로 구별 불가능하도록 보장함으로써, 이를 달성한다. 이는 일반선형모형에서 유도된 볼록 손실에 대해 캘리브레이션된 다중정확도(calibrated multiaccuracy)라는 새로운 정당성 인식 조건이 손실 OI를 암시함을 보여주며, 전체 다중교정이 필요로 하지 않는 효율적인 옴니예측을 가능하게 하고, 손실별 최적화기와 경쟁 가능한 성능을 보이는 실용적인 알고리즘을 제공한다.

ABSTRACT

We present a new perspective on loss minimization and the recent notion of Omniprediction through the lens of Outcome Indistingusihability. For a collection of losses and hypothesis class, omniprediction requires that a predictor provide a loss-minimization guarantee simultaneously for every loss in the collection compared to the best (loss-specific) hypothesis in the class. We present a generic template to learn predictors satisfying a guarantee we call Loss Outcome Indistinguishability. For a set of statistical tests--based on a collection of losses and hypothesis class--a predictor is Loss OI if it is indistinguishable (according to the tests) from Nature's true probabilities over outcomes. By design, Loss OI implies omniprediction in a direct and intuitive manner. We simplify Loss OI further, decomposing it into a calibration condition plus multiaccuracy for a class of functions derived from the loss and hypothesis classes. By careful analysis of this class, we give efficient constructions of omnipredictors for interesting classes of loss functions, including non-convex losses. This decomposition highlights the utility of a new multi-group fairness notion that we call calibrated multiaccuracy, which lies in between multiaccuracy and multicalibration. We show that calibrated multiaccuracy implies Loss OI for the important set of convex losses arising from Generalized Linear Models, without requiring full multicalibration. For such losses, we show an equivalence between our computational notion of Loss OI and a geometric notion of indistinguishability, formulated as Pythagorean theorems in the associated Bregman divergence. We give an efficient algorithm for calibrated multiaccuracy with computational complexity comparable to that of multiaccuracy. In all, calibrated multiaccuracy offers an interesting tradeoff point between efficiency and generality in the omniprediction landscape.

연구 동기 및 목표

• 손실의 클래스와 가설 클래스로부터 유도된 통계적 검증을 통해 예측기가 자연의 진짜 결과 분포와 계산적으로 구별 불가능하도록 보장하는, 결과 불가분성에 기반한 새로운 계산 프레임워크를 통해 손실 최소화와 옴니예측을 통합한다.
• 전체 다중교정이 필요로 하지 않는, 볼록 손실에 대해 옴니예측을 보장하는 최소 조건인 캘리브레이션된 다중정확도를 규명한다.
• 손실별 최적화 모델의 성능을 맞추거나 초월하는 효율적이고 모odu러한 옴니예측자 생성 알고리즘을 제공한다.
• 일반선형모형에 대해 볼록 손실에서 손실 OI와 Bregman 산란의 피타고라스 정리 간 기하학적 동치성을 확립한다.

제안 방법

• 손실과 가설 클래스로부터 유도된 통계적 검증의 클래스에 대해, 예측기가 자연의 진짜 결과 분포와 계산적으로 구별 불가능하도록 보장하는 계산적 보장을 제공하는 손실 결과 불가분성(Loss OI)을 제안한다.
• 손실과 가설 클래스로부터 유도된 함수 클래스에 대해 캘리브레이션과 다중정확도로 손실 OI를 두 가지 모듈러 조건으로 분해한다.
• 다중정확도와 다중교정 사이에 위치하는 새로운 정당성 개념인 캘리브레이션된 다중정확도를 도입하며, 이 조건이 볼록 손실에 대해 손실 OI를 암시함을 보여준다.
• 다중정확도에 대해 선형 회귀를, 캘리브레이션에 대해 등온 회귀를 결합한 효율적인 알고리즘(calMA)을 개발하며, 병렬 다중정확도와 유사한 복잡도를 가진다.
• 일반선형모형에 대해 볼록 손실에서 손실 OI와 Bregman 산란의 피타고라스 정리 간 기하학적 동치성을 확립한다.
• 예측을 개선하기 위해 부스팅 스타일의 반복 절차를 활용하여, 하위집단 전반에 걸쳐 캘리브레이션과 다중정확도를 보장한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 여러 손실 함수에 대해 근사 최적 성능을 달성할 수 있는 단일 예측기가 존재하는가?
• RQ2 어떤 최소 조건이 특정 클래스의 모든 손실에 대해 동시에 효과적인 예측기를 보장하는가?
• RQ3 캘리브레이션된 다중정확도는 기존의 정당성 및 캘리브레이션 개념인 다중정확도와 다중교정과 어떻게 관련이 있는가?
• RQ4 볼록 손실에 대해 Bregman 산란을 통해 손실 OI를 기하학적으로 기술할 수 있는가?
• RQ5 전체 다중교정이 필요로 하지 않는 효율적인 알고리즘이 손실 OI를 달성할 수 있는가?

주요 결과

• 캘리브레이션된 다중정확도는 일반선형모형에서 유도된 모든 볼록 손실에 대해 전체 다중교정이 필요로 하지 않게 손실 OI를 암시한다.
• 제안된 calMA 알고리즘은 손실별 최적화기와 경쟁 가능한 성능을 보이며, 종종 여러 손실 유형에서 그들을 능가한다.
• 실험 결과, 고차원 설정(d=10)에서 calMA는 ℓ2 손실 0.06, ℓ1 손실 0.08, 지수 손실 1.13, 로그 손실 0.22를 기록하며 표준 선형 회귀를 뛰어넘는 성능을 보였다.
• 이 프레임워크는 볼록 손실에서 손실 OI와 Bregman 산란의 기하학적 피타고라스 정리 간 직접적인 동치성을 확립한다.
• 캘리브레이션된 다중정확도는 다중교정보다 엄격히 약하지만 다중정확도보다 더 강력하여, 옴니예측에서 효율성과 일반성 사이의 새로운 트레이드오프를 제공한다.
• 이론적 분석을 통해, 단조 함수(예: SIMs에서 유도된 함수)는 비단조 함수 진짜 함수에 대해 캘리브레이션된 다중정확도를 달성할 수 없음을 보여주며, 제안된 방법의 필요성을 강조한다.