[논문 리뷰] Data-OOB: Out-of-bag Estimate as a Simple and Efficient Data Value

Yongchan Kwon, James Zou|arXiv (Cornell University)|2023. 04. 16.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 배깅 모델을 위한 계산적으로 효율적인 데이터 가치 평가 방법인 Data-OOB를 제안한다. 이 방법은 재학습 없이도 OOB(Out-of-Bag) 추정치를 활용하여 데이터 가치를 할당한다. 단일 CPU를 사용할 때 100만 개의 샘플에 대해 2.25시간 이내의 추론을 달성하며, 오분류된 데이터 포인트와 영향력 있는 데이터 포인트를 식별하는 데 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Data valuation is a powerful framework for providing statistical insights into which data are beneficial or detrimental to model training. Many Shapley-based data valuation methods have shown promising results in various downstream tasks, however, they are well known to be computationally challenging as it requires training a large number of models. As a result, it has been recognized as infeasible to apply to large datasets. To address this issue, we propose Data-OOB, a new data valuation method for a bagging model that utilizes the out-of-bag estimate. The proposed method is computationally efficient and can scale to millions of data by reusing trained weak learners. Specifically, Data-OOB takes less than 2.25 hours on a single CPU processor when there are $10^6$ samples to evaluate and the input dimension is 100. Furthermore, Data-OOB has solid theoretical interpretations in that it identifies the same important data point as the infinitesimal jackknife influence function when two different points are compared. We conduct comprehensive experiments using 12 classification datasets, each with thousands of sample sizes. We demonstrate that the proposed method significantly outperforms existing state-of-the-art data valuation methods in identifying mislabeled data and finding a set of helpful (or harmful) data points, highlighting the potential for applying data values in real-world applications.

연구 동기 및 목표

• 대규모 데이터셋에서 셰플리 기반 데이터 가치 평가 방법의 계산 비용 문제를 해결한다.
• 실제 기계학습 응용에 적합한 효율적이고 통계적으로 해석 가능한 데이터 가치 평가 프레임워크를 개발한다.
• 재학습을 피하기 위해 배깅 모델 내 기존의 약한 학습기(예: 랜덤 포레스트)를 활용하여 계산 비용을 줄인다.
• 약간의 정규성 조건 하에 기존의 영향력 측정법(예: 무한소자르기 영향 함수)과 일관성을 확보하기 위해 순서 일관성(ordered consistency)을 증명한다.
• 다양한 분류 데이터셋에서 도움이 되는, 해로운, 오분류된 데이터 포인트를 식별하는 데 뛰어난 성능을 보여준다.

제안 방법

• 배깅 모델에서 부트스트랩 샘플링을 통해 생성된 OOB 추정치를 활용하여 재학습 없이 데이터 가치를 계산한다.
• 모든 부트스트랩 반복 동안 OOB 샘플에서 평가된 모델 성능 점수의 평균을 데이터 값으로 할당한다.
• 이미 학습된 약한 학습기(예: 랜덤 포레스트 내의 결정 트리)를 재사용함으로써, 모델 학습 후 데이터 포인트당 O(1)의 추론 비용을 달성한다.
• 모델 전체 재학습이 필요 없이 OOB 예측을 집계하여 영향력의 닫힌 형태 근사치를 활용한다.
• 이론적 기반: 약간의 정규성 조건 하에 Data-OOB가 무한소자르기 영향 함수와 동일한 데이터 포인트 순서를 유지함을 증명한다.
• 랜덤 포레스트가 적용 가능한 모든 탭류 데이터셋에 적용 가능하므로, 데이터 중심 기계학습 워크플로우에서 널리 활용 가능하다.

Figure 1: Illustration of the proposed data valuation method. The OOB stands for the out-of-bag set. For each bootstrap sampling procedure, we evaluate an estimate $T_{b}(\star)$ if the datum $\star$ is in the OOB set. Here, $T_{b}(\star)$ is a score of the model trained with the $b$ -th bootstrap d

실험 결과

연구 질문

• RQ1 배깅 모델에서 OOB 추정치를 기반으로 한 데이터 가치 평가 방법이 계산 효율성과 통계적 해석 가능성 모두를 달성할 수 있는가?
• RQ2 Data-OOB는 데이터 포인트 순서를 정렬하는 데 있어 기존의 영향력 측정법(예: 무한소자르기 영향 함수)과 일관성을 유지하는가?
• RQ3 Data-OOB는 오분류된 데이터 포인트와 영향력 있는 데이터 포인트를 식별하는 데 있어 기존 최고 수준의 데이터 가치 평가 방법보다 나은가?
• RQ4 Data-OOB는 대규모 데이터셋(예: 100만 개 샘플)에 대해 최소한의 계산 오버헤드로 확장 가능한가?
• RQ5 Ensemble 내 약한 학습기 수(B)의 변화에 대해 Data-OOB는 얼마나 강인한가?

주요 결과

• 100개의 특성을 가진 100만 개 샘플 데이터셋에 대해 단일 CPU에서 Data-OOB는 2.25시간 이내에 데이터 가치를 계산하며, 재학습 기반 방법보다 뚜렷이 뛰어난 성능을 보인다.
• B ∈ {400, 800, 3200}의 다양한 약한 학습기 수에서 오분류된 데이터 포인트 탐지에 대해 안정적인 F1 점수를 기록하여 하이퍼파rameter 선택에 대한 강인성을 보여준다.
• 12개의 분류 데이터셋에서의 실험 결과, Data-OOB는 KNN-Shapley와 AME보다 도움이 되는 및 해로운 데이터 포인트를 더 잘 식별하며, 데이터 제거 후 분포 이동을 통해 이를 확인할 수 있었다.
• Data-OOB는 무한소자르기 영향 함수와 순서 일관성을 보이며, 두 데이터 포인트를 비교할 때 동일한 데이터 포인트를 더 영향력 있는 것으로 순위 매긴다.
• 기존 최고 수준의 접근법보다 오분류된 데이터 포인트를 더 효과적으로 식별하여, 데이터 정제 및 데이터 품질 평가에 실용적인 유용성을 보여준다.
• Data-OOB는 약한 학습기 수 B에 민감하지 않으며, 다양한 앙상블 크기에서 안정적인 성능을 보이며 실용적 사용성을 향상시킨다.

Figure 2: Elapsed time comparison between KNN Shapley , AME , and Data-OOB . We use a synthetic binary classification dataset with (left) $d=10$ and (right) $d=100$ . We exclude the setting $(n,d)=(5\times 10^{5},100)$ as KNN Shapley exceeds 24 hours. The error bar indicates a 95% confidence interva