[논문 리뷰] A Unified Framework for Task-Driven Data Quality Management

Tianhao Wang, Yi Zeng외 2명|arXiv (Cornell University)|2021. 06. 10.

Data Quality and Management참고 문헌 47인용 수 4

한 줄 요약

이 논문은 데이터 선택을 최적화 문제로 공식화하는 학습된 데이터 유틸리티 모델을 사용하여 통합된 데이터 품질 관리(DQM)를 위한 작업 중심형, 모델 독립형 프레임워크인 DataSifter를 제안한다. 이는 기존의 데이터 가치 평가 기반 방법—특히 셰플리 값 접근 방식—보다 우수한 성능을 보이며, 백도어 탐지, 데이터 편향 제거, 노이즈 레이블 제거와 같은 다양한 DQM 작업에서 최신 기술 수준의 성능을 달성한다. 또한 도미네이션 분석을 통해 최악의 경우 성능 보장을 제공한다.

ABSTRACT

High-quality data is critical to train performant Machine Learning (ML) models, highlighting the importance of Data Quality Management (DQM). Existing DQM schemes often cannot satisfactorily improve ML performance because, by design, they are oblivious to downstream ML tasks. Besides, they cannot handle various data quality issues (especially those caused by adversarial attacks) and have limited applications to only certain types of ML models. Recently, data valuation approaches (e.g., based on the Shapley value) have been leveraged to perform DQM; yet, empirical studies have observed that their performance varies considerably based on the underlying data and training process. In this paper, we propose a task-driven, multi-purpose, model-agnostic DQM framework, DataSifter, which is optimized towards a given downstream ML task, capable of effectively removing data points with various defects, and applicable to diverse models. Specifically, we formulate DQM as an optimization problem and devise a scalable algorithm to solve it. Furthermore, we propose a theoretical framework for comparing the worst-case performance of different DQM strategies. Remarkably, our results show that the popular strategy based on the Shapley value may end up choosing the worst data subset in certain practical scenarios. Our evaluation shows that DataSifter achieves and most often significantly improves the state-of-the-art performance over a wide range of DQM tasks, including backdoor, poison, noisy/mislabel data detection, data summarization, and data debiasing.

연구 동기 및 목표

• 기계학습에 무관한, 작업에 무관한, 그리고 다양한 데이터 결함에 효과적이지 않은 기존의 데이터 품질 관리(DQM) 체계의 한계를 해결한다.
• 셰플리 값과 같은 인기 있는 데이터 가치 평가 기반 DQM 방법의 열악한 최악의 경우 성능 보장 문제를 해결한다.
• 다양한 머신러닝 모델과 데이터 품질 문제—예를 들어, 적대적 공격, 레이블 노이즈, 편향 등—에 적용 가능한 확장성 있고 다목적인 DQM 프레임워크를 개발한다.
• 도미네이션 분석을 기반으로 한 이론적 프레임워크를 제공하여 다양한 DQM 전략의 최악의 경우 성능를 철저히 비교한다.
• 실제 데이터 포인트의 데이터 유틸리티 추정을 가능하게 하여 데이터 확보 결정과 서브셋 선택을 지원한다.

제안 방법

• 하류의 머신러닝 작업 성능을 최대화하는 것을 목표로 DQM을 최적의 데이터 선택 문제로 공식화한다.
• 작은 검증 세트를 사용하여 DeepSet이라는 세트 함수 학습 아키텍처를 통해 데이터 유틸리티 모델을 학습시켜 데이터 서브셋의 기여도를 예측한다.
• 학습된 유틸리티 모델을 최대화함으로써 데이터 서브셋 선택을 최적화하여, 모델 독립적이고 작업 중심의 선택을 가능하게 한다.
• 대규모 데이터셋에서 전체 재학습이 필요 없는 대체로 효율적인 샘플링 기반 접근 방식을 사용하여 데이터 유틸리티를 추정한다.
• 도미네이션 분석을 기반으로 한 이론적 프레임워크를 도입하여, 다양한 DQM 전략의 최악의 경우 성능를 철저히 비교한다.
• 유틸리티 모델을 활용해 미리 보지 않은 데이터 포인트의 유틸리티를 추정함으로써, 전통적인 가치 평가 기반 방법을 넘어서는 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합적이고 작업 중심적인 DQM 프레임워크가 다양한 데이터 품질 문제에서 기존의 데이터 가치 평가 기반 접근 방식을 뛰어넘을 수 있는가?
• RQ2 실제 시나리오에서 셰플리 값 기반 DQM 전략의 최악의 경우 성능는 다른 방법과 비교해 어떻게 되는가?
• RQ3 학습된 데이터 유틸리티 모델이 전체 데이터셋 재학습 없이도 데이터 선택의 확장성과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 도미네이션 분석을 기반으로 한 제안된 이론적 프레임워크가 DQM 전략에 의미 있는 성능 보장을 제공할 수 있는가?
• RQ5 DataSifter의 모델 독립적 설계가 다양한 머신러닝 모델과 다양한 유형의 데이터 결함에 걸쳐 강력한 성능을 유지하는가?

주요 결과

• DataSifter는 백도어 탐지, 노이즈/잘못된 레이블 탐지, 데이터 요약, 데이터 편향 제거 작업에서 최신 기술 수준의 데이터 가치 평가 기반 DQM 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 셰플리 값 기반 접근 방식은 인기가 많지만, 도미네이션 분석을 통한 이론적 분석 결과에 따르면 특정 실용적 시나리오에서는 최악의 데이터 서브셋을 선택할 수 있음을 입증했다.
• 10,000개 샘플의 오염된 CIFAR-10 서브셋에서, DataSifter는 단일 GPU에서 5시간 이내에 뛰어난 성능를 달성했고, LOO, Least Core, 대부분의 셰플리 변종은 24시간 이내에 종료되지 못했다.
• DataSifter의 학습된 유틸리티 모델은 전통적인 가치 평가 기반 방법이 전체 데이터셋에서 재학습이 필요로 하는 것과 달리, 새로운 데이터 포인트에 대한 정확한 유틸리티 추정이 가능하게 한다.
• 이 프레임워크는 여덟 개의 다양한 데이터셋과 여섯 가지의 독립적인 DQM 작업에서 최신 기술 수준의 성능를 달성하여 강건성과 일반화 능력을 입증했다.
• 실증 결과는 DataSifter의 유틸리티 학습 모델이 잘 일반화되며, 대규모 데이터셋에서 전체 재학습 없이도 효율적인 서브셋 선택이 가능하다는 것을 확인했다.