[논문 리뷰] Data Banzhaf: A Robust Data Valuation Framework for Machine Learning

Tianhao Wang, Ruoxi Jia|arXiv (Cornell University)|2022. 05. 30.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

이 논문은 기계학습을 위한 강력한 데이터 가치 평가 프레임워크인 Data Banzhaf를 제안한다. 이 프레임워크는 협동게임 이론의 개념인 Banzhaf 값을 사용하여 데이터 포인트의 가치를 할당한다. 확률적 학습(예: SGD)에서 발생하는 노이즈가 있는 모델 성능 점수에 대한 강건성을 수량화하기 위해 안전한 간격 지표를 도입하였으며, Banzhaf 값이 Shapley나 이탈한 한 개 포인트 제거 값보다 지수적으로 더 큰 안전한 간격을 확보함을 보였다. 효율적인 최대 샘플 재사용(MSR) 추정기는 낮은 샘플 복잡도로 이론적 오차 보장을 갖는 근사화를 가능하게 하여, 확률적 학습 하에서 기존 방법보다 데이터 품질 탐지 및 재가중 처리에서 뛰어난 성능을 보였다.

ABSTRACT

Data valuation has wide use cases in machine learning, including improving data quality and creating economic incentives for data sharing. This paper studies the robustness of data valuation to noisy model performance scores. Particularly, we find that the inherent randomness of the widely used stochastic gradient descent can cause existing data value notions (e.g., the Shapley value and the Leave-one-out error) to produce inconsistent data value rankings across different runs. To address this challenge, we introduce the concept of safety margin, which measures the robustness of a data value notion. We show that the Banzhaf value, a famous value notion that originated from cooperative game theory literature, achieves the largest safety margin among all semivalues (a class of value notions that satisfy crucial properties entailed by ML applications and include the famous Shapley value and Leave-one-out error). We propose an algorithm to efficiently estimate the Banzhaf value based on the Maximum Sample Reuse (MSR) principle. Our evaluation demonstrates that the Banzhaf value outperforms the existing semivalue-based data value notions on several ML tasks such as learning with weighted samples and noisy label detection. Overall, our study suggests that when the underlying ML algorithm is stochastic, the Banzhaf value is a promising alternative to the other semivalue-based data value schemes given its computational advantage and ability to robustly differentiate data quality.

연구 동기 및 목표

• 확률적 학습 알고리즘(예: SGD)에서 발생하는 노이즈가 있는 성능 점수로 인해 발생하는 데이터 가치 순위의 불안정성을 해결하기 위해.
• 성능 점수의 노이즈에 대한 강건성을 수량화하기 위한 새로운 지표인 안전한 간격을 정의하여 데이터 가치 평가의 강건성을 공식화하기 위해.
• 기계학습 분야의 기존 데이터 가치 개념들 중에서 가장 높은 안전한 간격을 확보하는 반치수값을 식별하기 위해.
• 낮은 샘플 복잡도와 성능 점수 노이즈에 대한 강건성을 갖춘 이론적으로 타당한 Banzhaf 값 추정기 개발을 위해.
• 확률적 학습 하에서 데이터 품질 탐지 및 재가중 처리 작업에서 Banzhaf 값의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 안전한 간격을 강건성의 공식적 측도로 도입하여, 데이터 가치 순위를 유지하는 데 필요한 성능 점수의 최대 변형을 수량화한다.
• Banzhaf 값이 Shapley 및 이탈한 한 개 포인트 제거 값과 같은 모든 반치수값 중에서 가장 큰 안전한 간격을 확보함을 이론적으로 증명한다.
• 최대 샘플 재사용(MSR) 원리를 기반으로 한 Banzhaf 값의 효율적 추정기를 제안하여, 로그적 샘플 복잡도로 $\ell_\infty$ 오차 보장을, 거의 선형 샘플 복잡도로 $\ell_2$ 오차 보장을 달성한다.
• Banzhaf 값 추정의 샘플 복잡도 하한을 유도하고, MSR 추정기가 거의 최적임을 보여준다.
• MSR 추정기가 성능 점수 노이즈에 대해 강건하여 안정적인 가치 순위를 유지함을 입증한다.
• SGD 학습 하에서 실제 기계학습 작업, 즉 노이즈가 있는 레이블 탐지 및 데이터 재가중 처리에 대해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 확률적 경사 하강법의 본질적 난수성은 기존 데이터 가치 평가 방법이 산출하는 데이터 가치 순위의 일관성에 어떤 영향을 미치는가?
• RQ2 노이즈가 있는 모델 성능 점수에 대한 강건성을 수량화하기 위한 수학적으로 엄밀한 공식적 방법은 무엇인가?
• RQ3 Shapley, 이탈한 한 개 포인트 제거, Banzhaf 중에서 노이즈가 있는 유틸리티 점수 하에서 가장 높은 안전한 간격을 확보하는 반치수값은 무엇인가?
• RQ4 정량적 오차 한계와 낮은 샘플 복잡도를 갖는 Banzhaf 값의 효율적이고 정확한 추정기를 구성할 수 있는가?
• RQ5 Banzhaf 값은 확률적 학습 하에서 데이터 품질 평가 및 재가중 처리와 같은 실용적 기계학습 응용에서 안정적인 순위를 유지하고 기존 방법을 능가하는가?

주요 결과

• Banzhaf 값은 Shapley 값과 이탈한 한 개 포인트 제거 오차보다 지수적으로 더 큰 안전한 간격을 확보하여, 확률적 학습에서 발생하는 성능 점수 노이즈에 대해 훨씬 더 강건함을 입증하였다.
• Banzhaf 값의 안전한 간격은 모든 반치수값 중에서 가장 크며, 이는 변형이 발생하더라도 일관된 데이터 가치 순위를 유지하는 데 있어 이론적으로 열등함이 없음을 확인한다.
• 제안된 MSR 추정기는 로그적 샘플 복잡도로 $\ell_\infty$ 오차 보장을, 거의 선형 샘플 복잡도로 $\ell_2$ 오차 보장을 달성하여 이론적 하한에 근접한다.
• 실증 평가 결과, Data Banzhaf는 SGD 학습 하에서 노이즈가 있는 레이블 탐지 및 샘플 재가중 처리에서 Shapley, LOO, Beta Shapley를 모두 능가하는 것으로 나타났다.
• 유틸리티 점수에 가우시안 노이즈가 추가된 상황에서도 프레임워크는 안정적인 순위를 유지하였으며, 여러 시행에서 스피어만 상관계수가 높게 유지되었다.
• Banzhaf 값의 강건성은 다양한 확률적 최적화 방법, 예를 들어 랜덤화된 스무딩이 적용된 경사 하강법에서도 유지되어, SGD를 넘어서 일반화 가능함을 확인하였다.