[논문 리뷰] Bagging Provides Assumption-free Stability

Jake A. Soloff, Rina Foygel Barber외 1명|arXiv (Cornell University)|2023. 01. 30.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 지도학습에서 배깅(bagging)에 대해 유한표본, 가정 없는 안정성 보장을 수립한다. 하위배깅(subbagging) 모델이 기저 알고리즘, 데이터 분포, 공변량 차원에 관계없이 본질적으로 안정적임을 증명한다. 핵심 결과는 매우 최소한의 조건 하에서도 안정성이 유지됨을 보이며, 상수 요소를 제외하고는 최적의 경계를 제공한다. 이는 매우 불안정한 기저 학습자라도 안정성을 확보할 수 있음을 의미한다.

ABSTRACT

Bagging is an important technique for stabilizing machine learning models. In this paper, we derive a finite-sample guarantee on the stability of bagging for any model. Our result places no assumptions on the distribution of the data, on the properties of the base algorithm, or on the dimensionality of the covariates. Our guarantee applies to many variants of bagging and is optimal up to a constant. Empirical results validate our findings, showing that bagging successfully stabilizes even highly unstable base algorithms.

연구 동기 및 목표

• 데이터 분포, 기저 알고리즘, 공변량 차원에 대한 가정 없이 배깅에 대해 유한표본 안정성 보장을 제공한다.
• 배깅이 매우 불안정한 기저 알고리즘조차도 최소한의 조건 하에서 안정화됨을 입증한다.
• 적응형 클리핑과 유한한 앙상블 크기를 통해 비유계 출력으로의 안정성 결과를 확장한다.
• 최소한의 상수 요소를 제외하고 최적의 경계를 갖는 결정론적이고, 외부 분포에 대해 유효한 안정성 경계를 제공한다.

제안 방법

• 예측 변화가 임계값 ε를 초과하는 훈련 포인트의 비율에 기반한 새로운 알고리즘 안정성 정의를 도입한다.
• 헤프딩의 부등식과 농도 경계를 사용하여 배깅 예측이 무한표본 근사치에서 벗어나지 않도록 제어한다.
• 전체 데이터 모델과 한 개 포인트를 제거한 모델을 비교하기 위해 쌍대화 기법을 적용하여 예측 이동이 큰 확률을 경계한다.
• 꼬리 확률의 통합을 통해 안정성 경계를 유도하며, 하위배깅에서 m = pn 개 표본을 사용할 경우 δε² ≳ 1/n · p/(1−p) 형태의 경계를 도출한다.
• 비유계 출력에 대해 적응형 클리핑과 유한한 앙상블 크기 B를 사용하여 결과를 확장하며, 극단적인 값을 제어하기 위해 R(𝒟,x)라는 강건성 항을 도입한다.
• 균일한 무작위 순열을 통한 랜덤 리샘플링 메커니즘을 활용하여 부트스트랩 샘플링을 모델링하고 결정론적 경계를 도출한다.

Figure 1: Distribution of leave-one-out perturbations for logistic regression (red) and subbagged logistic regression (blue), with $n=500$ and $d=250$ . (See Section 6 for details on this simulation.)

실험 결과

연구 질문

• RQ1 데이터 또는 알고리즘에 대한 가정 없이 배깅이 어떤 기저 학습 알고리즘도 안정화할 수 있는가?
• RQ2 최소한의 조건 하에서 배깅에 대해 어떤 유한표본 안정성 보장을 도출할 수 있는가?
• RQ3 하위배깅에서 표본 크기 n 과 부분표본 크기 m 의 변화에 따라 배깅의 안정성은 어떻게 스케일링되는가?
• RQ4 적응형 클리핑과 유한한 B를 사용하여 비유계 출력에 대해 안정성을 보장할 수 있는가?
• RQ5 유도된 안정성 경계는 상수 요소를 제외하고 최적인가?

주요 결과

• 모든 기저 알고리즘에 대해 유한한 출력을 갖는 배깅은 (ε,δ)-안정성을 확보하며, δε² ≳ 1/n · p/(1−p) 를 만족한다. 여기서 p = m/n 이다.
• 이 안정성 보장은 어떤 데이터 분포, 어떤 기저 알고리즘, 어떤 테스트 포인트(포함하여 외부 분포 포인트)에 대해 결정론적으로 성립한다.
• 분석을 통해 하한 경계와 일치함을 보여 최소한의 상수 요소를 제외하고 경계가 최적임을 입증한다.
• 비유계 출력의 경우, 적응형 클리핑된 배깅은 (ε + √(2/B log(4/δ′)), δ_I + δ + δ′, R)-안정성을 확보하며, R은 출력 범위를 반영한다.
• 실험 결과는 배깅이 예측 분산을 크게 감소시키며, 로지스틱 회귀와 같이 매우 불안정한 기저 모델조차도 안정화함을 확인한다.
• 최소한의 리샘플링 메커니즘에 대한 가정으로 다양한 배깅 변형(하위배깅 및 유한 B 앙상블 포함)으로 결과를 확장할 수 있다.

Figure 2: Phase diagram comparing Theorems 8 and 10 .