[논문 리뷰] Incentivizing Collaboration in Machine Learning via Synthetic Data Rewards

Sebastian Shenghong Tay, Xinyi Xu외 2명|arXiv (Cornell University)|2021. 12. 17.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 최대 평균 차이(MMD) 기반의 데이터 평가 함수와 선형 최적화 기반의 보상 체계를 사용하여 합성 데이터를 보상으로 분배하여 이타적인 당사자들이 데이터 기여를 하도록 유도하는 공동 생성 모델링(CGM) 프레임워크를 제안한다. 이 방법은 각 당사자의 기여에 비례하여 합성 데이터를 생성함으로써 공정성과 작업에 종속되지 않는 유용성을 보장하며, MNIST, CIFAR-10 및 의료 영상 데이터셋에서 실증적으로 검증되었다. 보상의 상응성은 일관되게 유지된다.

ABSTRACT

This paper presents a novel collaborative generative modeling (CGM) framework that incentivizes collaboration among self-interested parties to contribute data to a pool for training a generative model (e.g., GAN), from which synthetic data are drawn and distributed to the parties as rewards commensurate to their contributions. Distributing synthetic data as rewards (instead of trained models or money) offers task- and model-agnostic benefits for downstream learning tasks and is less likely to violate data privacy regulation. To realize the framework, we firstly propose a data valuation function using maximum mean discrepancy (MMD) that values data based on its quantity and quality in terms of its closeness to the true data distribution and provide theoretical results guiding the kernel choice in our MMD-based data valuation function. Then, we formulate the reward scheme as a linear optimization problem that when solved, guarantees certain incentives such as fairness in the CGM framework. We devise a weighted sampling algorithm for generating synthetic data to be distributed to each party as reward such that the value of its data and the synthetic data combined matches its assigned reward value by the reward scheme. We empirically show using simulated and real-world datasets that the parties' synthetic data rewards are commensurate to their contributions.

연구 동기 및 목표

• 협업 기계학습에서 이타적인 당사자들이 데이터 기여를 하도록 유도하면서도 데이터 프라이버시를 유지하는 데 도전 과제를 해결하기 위해.
• 학습된 모델을 보상으로 배포하는 데서 비롯하는 제약, 즉 작업에 종속되고 모델 아키텍처 선택의 유연성이 떨어지는 문제를 극복하기 위해.
• 향후 각 당사자가 유연하게 적응하고 실험할 수 있도록 작업 및 모델에 종속되지 않는 보상 메커니즘을 개발하기 위해.
• 이론적으로 탄탄한 데이터 평가 함수를 통해 데이터 기여도를 정량화하여 보상의 공정성을 확보하기 위해.
• 기여도에 기반해 할당된 값에 맞게 합성 데이터 보상을 생성하는 가중치 샘플링 알고리즘을 설계하기 위해.

제안 방법

• 진정한 데이터 분포에 가까운 정도를 측정함으로써 데이터 품질과 양을 평가하는 MMD 기반의 데이터 평가 함수를 제안하며, 커널 선택에 이론적 지침을 제공한다.
• CGM 프레임워크 내에서 공정성과 인센티브 호환성을 보장하기 위해 보상 분배 문제를 선형 최적화 문제로 수식화한다.
• 각 당사자의 기여도에 비례하여 합성 데이터 보상을 생성할 수 있도록 가중치 샘플링 알고리즘을 도입한다. 이때 기여 데이터와 합성 데이터의 총합이 할당된 보상 값과 일치하도록 한다.
• 합성 샘플의 수와 원본 데이터로부터의 이질성 사이의 트레이드오프를 제어하기 위해 역온도 하이퍼파라미터 β를 사용한다.
• UMAP를 활용해 합성 데이터 분포를 시각화하여, 기여도가 높은 당사자에게 더 많고 더 이질적인 합성 데이터가 제공됨을 검증한다.
• MNIST, CIFAR-10 및 의료 영상 데이터셋과 같은 실제 데이터셋에 프레임워크를 적용하며, GAN 기반으로 합성 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 합성 데이터는 협업 기계학습에서 데이터 공유를 유도하기 위한 공정하고 프라이버시를 보존하는 보상 메커니즘으로 사용될 수 있는가?
• RQ2 특정 작업의 레이블이 없을 경우, 기여의 양과 품질을 동시에 반영할 수 있는 정량적 기여도 측정 방법은 무엇인가?
• RQ3 선형 최적화 프레임워크는 다자 간 환경에서 기여도에 비례하여 보상이 공정하게 분배될 수 있도록 보장할 수 있는가?
• RQ4 역온도 파rameter β는 합성 샘플의 수와 원본 데이터로부터의 다양성 사이의 트레이드오프를 어느 정도 제어할 수 있는가?
• RQ5 제안된 프레임워크는 동일 분할과 비동일 분할을 포함한 다양한 데이터 분할 및 분포 유형에서 보상의 상응성을 유지하는가?

주요 결과

• MMD 기반 평가 함수를 통해 여러 데이터셋과 분할에서 검증된 결과, 합성 데이터 보상은 각 당사자의 기여도에 항상 상응함을 확인하였다.
• 기여도가 높은 당사자(αi)는 더 많은 합성 데이터 포인트를 확보하여, 기여도와 보상 크기 사이에 양의 상관관계가 있음을 입증하였다.
• β가 증가함에 따라 각 당사자당 합성 샘플 수는 감소했지만, 원본 데이터로부터의 이질성은 증가하여 β에 의한 트레이드오프 제어가 확인되었다.
• 균등 분할 조건에서 MNIST 데이터셋의 경우 보상 값 r_i는 0.199, 0.206, 0.269, 0.255, 0.276로 기대되는 기여도 기반 분포와 매우 유사하게 유지되었다.
• 비균등 분할 조건에서 CIFAR-10 데이터셋의 경우 보상 값 r_i는 0.133, 0.129, 0.0436, 0.0715, 0.0307로 기여 격차의 정확한 반영을 보였다.
• UMAP를 활용한 시각화 결과, 합성 데이터 포인트가 기여 수준과 β 설정에 따라 일치하는 방식으로 분포되었으며, 더 짙고 앞서 샘플된 빨간 점들은 더 높은 보상 수혜를 받은 당사자를 나타내었다.