[논문 리뷰] Computing a Data Dividend

Eric Bax|arXiv (Cornell University)|2019. 05. 06.

Auction Theory and Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 Shapley 및 Owen 값으로 개별 데이터 샘플과 샘플 그룹에 대한 금전적 가치를 할당하여 공정한 데이터 배당금을 계산하는 방법을 제안한다. 이 값들은 정의상 지수적 성격을 지니지만, 다항시간 내에 계산 가능하다는 것을 보여주며, 기계학습 및 통계 분야에서 데이터 기반 의사결정으로부터 발생하는 수익의 실용적 할당을 가능하게 한다.

ABSTRACT

Quality data is a fundamental contributor to success in statistics and machine learning. If a statistical assessment or machine learning leads to decisions that create value, data contributors may want a share of that value. This paper presents methods to assess the value of individual data samples, and of sets of samples, to apportion value among different data contributors. We use Shapley values for individual samples and Owen values for combined samples, and show that these values can be computed in polynomial time in spite of their definitions having numbers of terms that are exponential in the number of samples.

연구 동기 및 목표

• 데이터 기반 산업에서 데이터 기여자에 대한 공정한 보상 수요 증가에 대응하기 위해.
• 개별 기여자와 데이터 협동체 간에 데이터로부터 생성된 수익을 공정하게 배분할 수 있는 메커니즘을 개발하기 위해.
• 기존 Shapley 및 Owen 값 정의의 지수적 성격에도 불구하고 데이터 평가가 계산적으로 가능하도록 보장하기 위해.
• 광고, 금융 예측, 임상 연구 등에 적용 가능한 원칙적인 게임이론적 프레임워크를 제공하기 위해.

제안 방법

• 개별 데이터 샘플의 의사결정 과정에 대한 마진널 기여도를 계산하기 위해 Shapley 값을 사용한다.
• 특히 최근접 이웃 분류 모델에서 샘플 집단의 기여도를 평가하기 위해 Owen 값을 적용한다.
• 순열에 대한 조합적 평균을 활용하여 Shapley 및 Owen 값을 효율적으로 계산함으로써 지수적 복잡도를 다항시간으로 감소시킨다.
• 확률 가중 기여도를 사용하여 빈도 기반 및 최근접 이웃 모델에서 데이터 배당금 계산을 위한 닫힌 형태의 표현식을 유도한다.
• 분류 작업에서 협동체 내 샘플의 기여도를 나타내기 위해 $\hat{f}_{m,i}(x,y)$ 및 $\hat{g}_{m,i}(x,y)$ 와 같은 용어를 도입한다.
• 대칭성 및 순열 불변성을 활용하여 값 계산 과정에서 항을 군집화하고 단순화함으로써 확장 가능한 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 기반 의사결정 시스템에서 개별 데이터 샘플을 어떻게 공정하게 평가할 수 있는가?
• RQ2 기계학습 모델에서 데이터 기여에 대해 Shapley 및 Owen 값을 할당하는 데 있어 계산 가능성은 어떻게 보장되는가?
• RQ3 기존 정의에서 항의 수가 지수적으로 많음에도 불구하고 다항시간 알고리즘을 개발하여 데이터 배당금을 계산할 수 있는가?
• RQ4 동일한 원천 또는 그룹으로부터 여러 샘플이 기여된 경우 데이터 배당금은 어떻게 할당되어야 하는가?
• RQ5 데이터 배당금 계산이 데이터 수집의 공정성, 개인정보 보호, 불평등성에 미치는 영향는 무엇인가?

주요 결과

• 개별 데이터 샘플에 대한 Shapley 값과 협동체에 대한 Owen 값은 표준 정의의 지수적 복잡도를 극복하고 다항시간 내에 계산 가능하다.
• 이 방법은 광고, 금융 예측, 임상 연구 등 응용 분야에서 데이터 기반 의사결정으로부터 발생하는 수익을 공정하고 계산적으로 효율적으로 할당할 수 있도록 한다.
• 최근접 이웃 분류에서는 샘플의 기여도가 순열 내 위치와 투표 결과에 기반한 확률 가중 마진널 이득을 사용하여 유도된다.
• 이 프레임워크는 빈도 기반 및 최근접 이웃 모델을 모두 지원하여 기계학습 및 통계적 의사결정 시스템 전반에 널리 적용 가능하다.
• 이 접근법은 대표성 있거나 영향력 있는 데이터 기여자에게 보상을 지급함으로써 편향을 줄이고 공정성을 향상시킬 수 있는 데이터 배당금 시스템의 기초를 제공한다.
• 논문은 데이터 조작 및 개인정보 보호의 상충 관계와 같은 잠재적 위험을 제기하며, 체계의 무결성을 유지하기 위해 데이터 검증 및 공정한 보상이 필요할 수 있음을 시사한다.