[논문 리뷰] A Distributional Framework for Data Valuation

Amirata Ghorbani, Michael P. Kim외 1명|arXiv (Cornell University)|2020. 02. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 26

한 줄 요약

이 논문은 기존 고정된 데이터셋에 의존하는 것과는 달리, 기저 데이터 분포에 기반해 데이터 포인트의 가치를 정의하는 새로운 프레임워크인 분포 기반 샤플리(Distributional Shapley)를 소개한다. 이는 다양한 데이터 샘플링에 걸쳐 통계적 안정성과 일관성을 보장하며, 공식적인 근사 보장을 갖춘 더 빠르고 신뢰할 수 있는 데이터 평가를 가능하게 한다. 이는 데이터 시장 응용 분야에서 뛰어난 성능을 보인다.

ABSTRACT

Shapley value is a classic notion from game theory, historically used to quantify the contributions of individuals within groups, and more recently applied to assign values to data points when training machine learning models. Despite its foundational role, a key limitation of the data Shapley framework is that it only provides valuations for points within a fixed data set. It does not account for statistical aspects of the data and does not give a way to reason about points outside the data set. To address these limitations, we propose a novel framework -- distributional Shapley -- where the value of a point is defined in the context of an underlying data distribution. We prove that distributional Shapley has several desirable statistical properties; for example, the values are stable under perturbations to the data points themselves and to the underlying data distribution. We leverage these properties to develop a new algorithm for estimating values from data, which comes with formal guarantees and runs two orders of magnitude faster than state-of-the-art algorithms for computing the (non-distributional) data Shapley values. We apply distributional Shapley to diverse data sets and demonstrate its utility in a data market setting.

연구 동기 및 목표

• 기존 데이터 샤플리의 한계를 해결하기 위해, 고정된 학습 데이터셋에 의존하고 데이터 샘플링에 따라 통계적 일관성이 없는 문제를 해결하고자 한다.
• 기본 데이터 분포 내에서 데이터 포인트의 본질적 가치를 반영하는 데이터 평가 프레임워크를 개발하여, 데이터 시장에서 공정하고 이식 가능한 가격 설정을 가능하게 하고자 한다.
• 데이터 포인트 및 기저 분포에 대한 변화에 대해 가치의 안정성을 확보하여 강건성과 신뢰성을 향상시키고자 한다.
• 공식적인 근사 보장을 갖춘 계산 효율적인 알고리즘을 설계하여, 최신 기술 대비 뛰어난 속도 성능을 확보하고자 한다.
• 실제 세계의 데이터 세트를 사용하여 데이터 시장 환경에서 프레임워크를 실증적으로 검증하고, 구매자와 판매자 간 일관된 평가가 이루어지는지 입증하고자 한다.

제안 방법

• 기저 데이터 분포 𝒟에서 i.i.d.로 추출된 샘플에 대해 기대값을 취한 데이터 샤플리 값으로서 분포 기반 샤플리를 제안한다.
• 데이터 포인트 z의 가치를 E_B∼𝒟^n [φ(z; U, B)]로 정의한다. 여기서 φ는 랜덤 데이터 세트 B에 대한 표준 데이터 샤플리 값이다.
• 임의의 부분집합에 z를 추가했을 때의 성능 향상 기대값과 동일한 수학적 항등식을 활용한다.
• 이 항등식을 활용해 비편향 추정기와 공식적인 근사 보장을 갖춘 샘플링 기반 알고리즘인 𝒟-Shapley를 개발한다.
• 안정성 특성에 기반한 이론적 최적화를 통해 정확도를 유지하면서도 계산 비용을 두 배수 감소시켰다.
• 다양한 기계학습 작업 전반에서 분포 기반 샤플리 값을 효율적으로 추정하기 위해 몬테카를로 샘플링과 분산 감소 기법을 활용한다.

실험 결과

연구 질문

• RQ1 기본 데이터 분포에 기반함으로써 고정된 학습 데이터셋에 의존하지 않는 데이터 평가가 가능할 수 있는가?
• RQ2 제안된 분포 기반 샤플리 프레임워크가 데이터 포인트 및 데이터 분포에 대한 변화에 대해 안정성을 유지하는가?
• RQ3 다양한 데이터 세트를 같은 분포에서 추출한 구매자들 사이에서도 이 프레임워크가 일관된 데이터 가격 설정을 지원할 수 있는가?
• RQ4 기존 데이터 샤플리 알고리즘 대비 분포 기반 샤플리 추정을 훨씬 더 빠르게 수행하면서도 정확도를 유지할 수 있는가?
• RQ5 데이터 세트에 대한 평균화의 특성 덕분에 분포 기반 샤플리는 차별적 프라이버시 기법(예: 차별적 프라이버시)과 호환되는가?

주요 결과

• 분포 기반 샤플리 값은 개별 데이터 포인트 및 기저 데이터 분포에 대한 변화에 대해 안정적이며, 이는 일반적으로 표준 데이터 샤플리가 갖지 못하는 성질이다.
• 𝒟-Shapley 알고리즘은 비분포 기반 데이터 샤플리 값을 계산하는 최신 기술 대비 두 배수 빠른 속도를 기록하며, 공식적인 근사 보장을 갖춘다.
• 데이터 가격 설정 실험에서 판매자가 평가한 분포 기반 샤플리 값과 구매자가 평가한 데이터 샤플리 값 간의 순위 상관계수는 일관되게 높았다 (예: 다양한 데이터셋에서 약 0.6–0.9), 이는 강력한 일관성을 시사한다.
• 구매자 데이터 세트에 분포 기반 샤플리 값 순서로 데이터 포인트를 추가했을 때, 구매자가 평가한 순서로 추가한 것과 유사한 모델 정확도 향상을 보였으며, 랜덤 추가보다 뛰어난 성능을 보였다.
• 판매자와 구매자가 전체 데이터 세트 가치를 평가한 절대 백분율 오차는 낮았다 (예: 많은 경우에서 10% 이하), 이는 분포 기반 샤플리가 약간의 편향 없이 가격 설정을 가능하게 한다는 것을 보여준다.
• 이 프레임워크는 동일한 분포에서 추출된 다양한 데이터 세트 간 일관된 평가를 가능하게 하여, 데이터가 당사자 간 이관되는 실제 데이터 마켓플레이스 환경에 적합하다.