[논문 리뷰] Data Shapley Valuation for Efficient Batch Active Learning

Amirata Ghorbani, James Zou외 1명|arXiv (Cornell University)|2021. 04. 16.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 배치 활성 학습에 적용하기 전에 레이블이 없는 데이터 풀에서 가장 가치 있는 데이터 포인트를 사전에 선별하기 위해 데이터 샤플리 값(Data Shapley values)을 사용하는 선형 시간 필터링 방법인 액티브 데이터 샤플리(ADS)를 제안한다. 각 포인트의 모델 성능 기여도를 추정함으로써 ADS는 평균적으로 효율성을 6배 향상시키면서도, 특히 노이즈가 많거나 이질적이거나 도메인 이탈이 발생하는 데이터 분포 상황에서도 후행 정확도를 유지하거나 향상시킨다.

ABSTRACT

Annotating the right set of data amongst all available data points is a key challenge in many machine learning applications. Batch active learning is a popular approach to address this, in which batches of unlabeled data points are selected for annotation, while an underlying learning algorithm gets subsequently updated. Increasingly larger batches are particularly appealing in settings where data can be annotated in parallel, and model training is computationally expensive. A key challenge here is scale - typical active learning methods rely on diversity techniques, which select a diverse set of data points to annotate, from an unlabeled pool. In this work, we introduce Active Data Shapley (ADS) -- a filtering layer for batch active learning that significantly increases the efficiency of active learning by pre-selecting, using a linear time computation, the highest-value points from an unlabeled dataset. Using the notion of the Shapley value of data, our method estimates the value of unlabeled data points with regards to the prediction task at hand. We show that ADS is particularly effective when the pool of unlabeled data exhibits real-world caveats: noise, heterogeneity, and domain shift. We run experiments demonstrating that when ADS is used to pre-select the highest-ranking portion of an unlabeled dataset, the efficiency of state-of-the-art batch active learning methods increases by an average factor of 6x, while preserving performance effectiveness.

연구 동기 및 목표

• 대규모 레이블이 없는 데이터셋에 대해 계산 비용이 높아지면서 배치 활성 학습의 비효율성을 해결하기 위해.
• 레이블이 없는 데이터가 노이즈가 많거나 이질적이거나 도메인 이탈이 발생하는 실제 환경에서의 내성성을 향상시키기 위해.
• 기존의 다양성 기반 활성 학습 방법의 성능을 훼손하지 않으면서도 확장 가능하고 효율적인 필터링 메커니즘을 개발하기 위해.
• 데이터 샤플리 값이 활성 학습에서 높은 영향력을 가진 데이터 포인트를 선택하는 신뢰할 수 있는 유틸리티 지표로 기능할 수 있음을 입증하기 위해.
• 모아진 데이터셋과 실제 노이즈가 있는 데이터 시나리오(예: 웹 스크래핑 및 손상된 데이터 포함)에서 메서드의 유효성을 검증하기 위해.

제안 방법

• ADS는 각 데이터 포인트의 모델 성능 기여도를 추정하기 위해 선형 시간 근사법을 사용하여 모든 레이블이 없는 데이터 포인트에 대해 데이터 샤플리 값을 계산한다.
• 각 포인트의 샤플리 값 추정치를 기반으로 상위-k개의 높은 가치를 가진 포인트만 선택하여 레이블이 없는 풀을 사전에 필터링한다.
• 필터링된 부분집합은 표준 다양성 기반 활성 학습 방법(예: CoreSet)에 공급되어 최종 배치를 선택하기 위한 annotation을 수행한다.
• 샤플리 값은 훈련 데이터의 모든 가능한 부분집합에 대한 특정 데이터 포인트의 평균 경계 기여도로 정의되며, 몬테카를로 샘플링을 통해 근사된다.
• 이 방법은 후행 활성 학습 알고리즘에 대해 무관하게 설계되어 있으며, 기존의 배치 선택 프레임워크에 즉시 통합할 수 있다.
• 모델 예측값과 기울기를 활용하여 각 데이터 포인트의 최종 모델 정확도에 대한 영향력을 효율적으로 추정한다.

Figure 1: Effect of Data Shapley Valuation on Active Learning. (Top) Unlabeled data is filtered via Active Data Shapley Valuation to obtain the small subset that ranks highest by value. This is fed through a standard diversity method for active learning (e.g. CoreSet [ 29 ] ) to determine the points

실험 결과

연구 질문

• RQ1 데이터 샤플리 값은 배치 활성 학습의 계산 효율성을 향상시키기 위해 레이블이 없는 데이터를 효율적으로 사전 필터링하는 데 사용될 수 있는가?
• RQ2 노이즈, 도메인 이탈, 데이터 이질성과 같은 실제 데이터 조건 하에서 ADS는 어떻게 성능을 발휘하는가?
• RQ3 샤플리 기반 필터링을 사용할 경우 표준 활성 학습 베이스라인 대비 성능을 유지하거나 향상시키는가?
• RQ4 ADS는 다양성 기반 활성 학습 방법의 계산 부담을 어느 정도 줄이는가?
• RQ5 웹에서 수집한 대규모 저품질 레이블이 없는 데이터셋에 적용했을 때 ADS의 내성성은 어떠한가?

주요 결과

• ADS는 최신의 배치 활성 학습 방법의 효율성을 평균적으로 6.4배 향상시키며, 주로 비용이 많이 드는 다양성 기반 방법의 입력 크기를 줄임으로써 달성된다.
• CINIC-10을 노이즈가 많고 도메인 이탈이 발생하는 레이블이 없는 풀로 사용했을 때, ADS를 통한 활성 학습은 CIFAR-10에서 가장 높은 성능을 기록했으며, 모든 베이스라인을 능가했다.
• 80%의 노이즈가 있는 이미지를 포함한 SVHN에서, ADS를 통한 활성 학습은 무작위 선택 및 기타 베이스라인을 크게 능가했으며, 데이터 손상에 대한 내성성을 입증했다.
• 많은 도메인 이탈 및 잘못 레이블링된 예제를 포함한 Cheap-10 웹 스크래핑 데이터셋에서, ADS를 통한 방법은 다른 대안들보다 뚜렷이 뛰어난 성능을 보였으며, 무작위 선택 성능을 초월하기까지 했다.
• 모아진 데이터셋과 실제 노이즈가 있는 데이터에 이르기까지 다양한 데이터 분포에서 높은 성능를 유지함으로써, 실용적 환경에서의 내성성을 입증했다.
• ADS는 다양성 기반 활성 학습의 확장성을 높이며, 특히 O(n³) 알고리즘에 대해 계산 비용이 많이 드는 이들 방법이 처리하는 데이터 포인트 수를 줄여줌으로써 유의미한 이점을 제공한다.

Figure 2: Active Data Shapley Enhancing a Diversity Method. (a) Given a trained model, labeled data is featurized, exact Shapley values are computed, and a regression model is trained to predict Shapley values from features. (b) Unlabeled data is featurized, and Shapley values are estimated with the