[논문 리뷰] OpenDataVal: a Unified Benchmark for Data Valuation

Kevin Fu Jiang, Weixin Liang외 2명|arXiv (Cornell University)|2023. 06. 18.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

OpenDataVal는 다양한 데이터셋과 머신러닝 작업에서 최첨단 데이터 가치 평가 알고리즘을 평가하고 비교할 수 있도록 해주는 통합된 오픈소스 벤치마크 프레임워크입니다. 11종의 최신 데이터 가치 평가 방법을 통합하고, scikit-learn 및 PyTorch의 모델을 지원하며, 노이즈 레이블 탐지, 노이즈 특성 탐지, 포인트 제거, 포인트 추가와 같은 네 가지 후행 작업을 제공하여, 어떤 알고리즘도 모든 작업에서 일관되게 뛰어나지 않는다는 점을 드러냅니다.

ABSTRACT

Assessing the quality and impact of individual data points is critical for improving model performance and mitigating undesirable biases within the training dataset. Several data valuation algorithms have been proposed to quantify data quality, however, there lacks a systemic and standardized benchmarking system for data valuation. In this paper, we introduce OpenDataVal, an easy-to-use and unified benchmark framework that empowers researchers and practitioners to apply and compare various data valuation algorithms. OpenDataVal provides an integrated environment that includes (i) a diverse collection of image, natural language, and tabular datasets, (ii) implementations of eleven different state-of-the-art data valuation algorithms, and (iii) a prediction model API that can import any models in scikit-learn. Furthermore, we propose four downstream machine learning tasks for evaluating the quality of data values. We perform benchmarking analysis using OpenDataVal, quantifying and comparing the efficacy of state-of-the-art data valuation approaches. We find that no single algorithm performs uniformly best across all tasks, and an appropriate algorithm should be employed for a user's downstream task. OpenDataVal is publicly available at https://opendataval.github.io with comprehensive documentation. Furthermore, we provide a leaderboard where researchers can evaluate the effectiveness of their own data valuation algorithms.

연구 동기 및 목표

• 데이터 가치 평가 알고리즘을 평가하기 위한 표준화되고 사용자 친화적인 벤치마크의 부족을 해결하기 위해.
• 이미지, 표본, NLP와 같은 다양한 데이터 유형에서 최첨단 데이터 가치 평가 방법을 체계적으로 비교할 수 있도록 하기 위해.
• 오픈소스 코드와 공개 리더보드를 통해 복제 가능성과 투명성을 확보하여 데이터 가치 평가 연구의 재현 가능성을 높이기 위해.
• 실제 세계의 후행 머신러닝 작업에서 데이터 가치 평가 알고리즘의 효과성을 평가하기 위해.
• 특정 사용 사례에 따라 적절한 데이터 가치 평가 방법을 선택할 수 있도록 실무자들을 안내하기 위해.

제안 방법

• 데이터셋, 가치 평가 알고리즘, 모델, 메트릭, 하이퍼파ram터를 지정하기 위한 통합 API인 ExperimentMediator를 도입합니다.
• DataShapley, BetaShapley, LOO, DVRL 등 11종의 최신 데이터 가치 평가 알고리즘 통합을 지원합니다.
• OpenML, scikit-learn, PyTorch에서 제공하는 공공 데이터셋 컬렉션을 제공하여 이미지, 표본, NLP 작업에 적합한 데이터셋을 확보합니다.
• scikit-learn 및 PyTorch API를 통해 모델를 가져올 수 있도록 지원하여 기존 모델과 딥러닝 모델 모두를 지원합니다.
• 네 가지 후행 평가 작업을 수행합니다: 노이즈 레이블 탐지, 노이즈 특성 탐지, 포인트 제거, 포인트 추가 실험.
• 연구자들이 자신의 데이터 가치 평가 알고리즘을 제출하고 벤치마크할 수 있도록 공개 리더보드를 제공합니다.

Figure 1: OpenDataVal is an open-source, easy-to-use and unified benchmark framework for data valuation. It contains a diverse collection of datasets, implementations of eleven state-of-the-art data valuation algorithms, and a variety of modern prediction models. In addition, OpenDataVal provides se

실험 결과

연구 질문

• RQ1 다양한 데이터 유형과 후행 머신러닝 작업에서 가장 우수한 성능을 보이는 데이터 가치 평가 알고리즘은 무엇인가요?
• RQ2 다른 데이터 가치 평가 방법은 훈련 데이터의 노이즈 레이블을 탐지하는 데 얼마나 효과적인가요?
• RQ3 데이터 포인트를 제거하거나 추가할 때 데이터 가치 점수와 모델 성능 간의 상관관계는 어느 정도인가요?
• RQ4 실제 세계의 데이터셋에서 잘못 레이블링되거나 품질이 낮은 데이터를 효과적으로 식별할 수 있는가요?
• RQ5 모든 상황에서 최적의 데이터 가치 평가 방법이 존재하는가, 아니면 성능은 특정 후행 작업에 따라 달라지는가요?

주요 결과

• 어느 한 알고리즘이나 모든 네 가지 후행 작업에서 항상 뛰어난 성능을 보이지는 않으며, 이는 작업별 성능 차이를 시사합니다.
• DataShapley와 BetaShapley는 특히 CIFAR-10과 같은 이미지 데이터셋에서 노이즈 레이블 탐지에서 뛰어난 성능을 보입니다.
• LOO와 AME는 특히 표본 및 NLP 환경에서 포인트 제거 및 추가 실험에서 경쟁력 있는 결과를 보입니다.
• 데이터 모dalities 간에 데이터 가치 평가 방법의 성능 격차가 뚜렷하게 나타나며, 이미지 데이터는 표본 또는 NLP 데이터보다 더 일관된 결과를 보입니다.
• 벤치마크는 알고리즘 선택이 데이터 정제나 모델 디버깅과 같은 특정 후행 작업에 따라 달라져야 한다는 점을 드러냅니다.
• OpenDataVal 프레임워크는 재현 가능한 평가를 가능하게 하며, 공개 리더보드와 오픈소스 리포지터리를 통해 공동체 주도적 진전을 지원합니다.