[논문 리뷰] Rashomon Capacity: A Metric for Predictive Multiplicity in Classification

Hsiang Hsu, Flávio P. Calmon|arXiv (Cornell University)|2022. 06. 02.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 예측 다중성(predictive multiplicity)을 측정하기 위한 새로운 지표인 Rashomon Capacity를 제안한다. Rashomon Capacity는 성능이 통계적으로 구분되지 않는 모델들로 구성된 Rashomon 집합 내에서 예측 점수의 변동성을 측정함으로써, 확률적 분류에서의 다중성을 정량화한다. 기존의 임계값 기반 예측에 국한된 지표들과 달리, Rashomon Capacity는 미세한 확률 불일치를 포괄하며, 저자들은 이 지표가 최대 $c$개의 모델($c$는 클래스 수)로 완전히 특징지을 수 있음을 보여주며, 이는 효율적인 추정과 이해관계자에 대한 모델 공개를 가능하게 한다. 이는 탐색적 선택 알고리즘을 통해 이루어지며, 실증 결과로 랜덤 포레스트와 같은 앙상블 모델에서 다중성이 감소하는 것으로 나타났다.

ABSTRACT

Predictive multiplicity occurs when classification models with statistically indistinguishable performances assign conflicting predictions to individual samples. When used for decision-making in applications of consequence (e.g., lending, education, criminal justice), models developed without regard for predictive multiplicity may result in unjustified and arbitrary decisions for specific individuals. We introduce a new metric, called Rashomon Capacity, to measure predictive multiplicity in probabilistic classification. Prior metrics for predictive multiplicity focus on classifiers that output thresholded (i.e., 0-1) predicted classes. In contrast, Rashomon Capacity applies to probabilistic classifiers, capturing more nuanced score variations for individual samples. We provide a rigorous derivation for Rashomon Capacity, argue its intuitive appeal, and demonstrate how to estimate it in practice. We show that Rashomon Capacity yields principled strategies for disclosing conflicting models to stakeholders. Our numerical experiments illustrate how Rashomon Capacity captures predictive multiplicity in various datasets and learning models, including neural networks. The tools introduced in this paper can help data scientists measure and report predictive multiplicity prior to model deployment.

연구 동기 및 목표

• 유사한 성능를 보이는 모델들이 개별 샘플에 대해 상반된 예측을 내리는 예측 다중성으로 인해 발생할 수 있는 고위험 AI 응용 분야에서의 임의적이고 정당화되지 않은 결정의 위험을 해결하기 위해.
• 임계값(0-1) 출력에 국한되지 않고, 확률적 분류기 전반에 적용 가능한 형식적이고 해석 가능한 예측 다중성 지표를 개발하기 위해.
• 모델 배포 이전에 이해관계자에게 예측 다중성을 추정하고 공개하기 위한 실용적 프레임워크를 제공하기 위해.
• Rashomon Capacity가 최대 $c$(클래스 수)개의 모델로 완전히 기술될 수 있음을 입증함으로써, 효율적인 계산과 모델 부분집합 선택이 가능함을 보여주기 위해.

제안 방법

• 주어진 입력 샘플에 대해 Rashomon 집합 내 모델들 간의 예측 확률 범위를 측정하는 지표로 Rashomon Capacity를 제안한다.
• 모든 샘플에 대해 점수 변동성이 최대 $c$개의 모델로 완전히 기술될 수 있음을 보여주는 이론적 경계를 유도한다. 여기서 $c$는 클래스 수이다.
• 데이터셋 전체에 걸쳐 점수 변동의 대부분을 유지하는 최소한의 모델 부분집합을 식별하기 위한 탐욕적 알고리즘을 도입한다.
• 다양한 무작위 초기화를 통해 재학습된 다수의 모델에서의 경험적 분포를 이용해 Rashomon Capacity를 추정하고, 다양한 데이터셋과 아키텍처에 적용한다.
• 신경망, 결정 트리, 랜덤 포레스트, 다양한 정규화 기법을 적용한 로지스틱 모델에 대해 이 지표의 강건성과 유용성을 평가하기 위해 적용한다.
• 예측 충돌을 해결하기 위한 모델 공개 전략(예: 무작위화 또는 백킹)을 안내하기 위해 이 지표를 활용한다.

실험 결과

연구 질문

• RQ1 유사한 성능를 보이는 모델들 사이에서 예측이 다름에도 불구하고, 확률적 분류 모델에서의 예측 다중성을 어떻게 공식적으로 측정할 수 있는가?
• RQ2 고위험 의사결정에서 이해관계자에게 유용하고 해석 가능한 예측 다중성 지표가 가져야 할 성질은 무엇인가?
• RQ3 Rashomon Capacity는 효율적으로 추정되고 계산될 수 있으며, 딥 네URAL 네트워크와 같은 복잡한 모델에 대해서도 스케일링 가능한가?
• RQ4 랜덤 포레스트와 같은 앙상블 방법은 Rashomon Capacity로 측정했을 때 예측 다중성을 어느 정도 감소시키는가?
• RQ5 Rashomon 집합에서 작은 모델 부분집합이 주어진 입력에 대해 전체적인 예측 변동 범위를 포괄할 수 있는가? 이는 실용적인 공개 전략을 가능하게 하는가?

주요 결과

• 모든 입력 샘플에 대해 Rashomon Capacity는 최대 $c$개의 모델로 제한되며, 여기서 $c$는 클래스 수이다. 이는 Rashomon 집합의 크기에 관계없이 효율적인 추정이 가능함을 의미한다.
• 랜덤 포레스트 분류기는 결정 트기보다 항상 훨씬 낮은 Rashomon Capacity를 보이며, 이는 앙상블화가 예측 다중성을 감소시킴을 시사한다.
• UCI Adult 및 HSLS 데이터셋에서 로지스틱 회귀에 대해 $\ell_1$ 및 $\ell_2$ 정규화가 Rashomon Capacity를 감소시키며, 이는 정규화가 다중성 완화 전략이 될 수 있음을 시사한다.
• CIFAR-10, AG News, UrbanSound8k를 포함한 모든 테스트 데이터셋에서 Rashomon Capacity는 다양한 모델과 아키텍처 간의 점수 변동을 효과적으로 캡처한다.
• 대상 데이터셋 전체에 걸쳐 점수 변동의 대부분을 포괄하는 대상 모델 선택을 위한 탐욕적 알고리즘이 효과적으로 기능하며, 이해관계자에게 충돌하는 예측을 실용적으로 공개할 수 있게 한다.
• 모델의 校정성(calibration)은 예측 다중성을 제거하지 않는다. 잘 校정된 모델들도 동일한 입력에 대해 괴리된 확률을 부여할 수 있으며, 이는 Rashomon Capacity와 같은 지표의 필요성을 강조한다.