[논문 리뷰] Collaborative Machine Learning Markets with Data-Replication-Robust Payments

Olga Ohrimenko, Shruti Tople외 1명|arXiv (Cornell University)|2019. 11. 08.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 13

한 줄 요약

이 논문은 당사자들이 훈련 데이터를 기여하고 검증 작업을 지정하여 맞춤형 모델을 수령하는 협업 기계학습 마켓플레이스를 제안한다. 이는 데이터 복제에 강건한 새로운 샤플리 값 기반 지급 메커니즘을 사용하며, 공정한 수익 배분을 보장하고 데이터 복제 유인을 차단한다. 참가 수수료는 검증 작업에 연관 지어지며, 작업별 맞춤형 모델 커스터마이제이션을 통해 참가자들이 특정 작업에만 유효한 모델을 수령하도록 한다.

ABSTRACT

We study the problem of collaborative machine learning markets where multiple parties can achieve improved performance on their machine learning tasks by combining their training data. We discuss desired properties for these machine learning markets in terms of fair revenue distribution and potential threats, including data replication. We then instantiate a collaborative market for cases where parties share a common machine learning task and where parties' tasks are different. Our marketplace incentivizes parties to submit high quality training and true validation data. To this end, we introduce a novel payment division function that is robust-to-replication and customized output models that perform well only on requested machine learning tasks. In experiments, we validate the assumptions underlying our theoretical analysis and show that these are approximately satisfied for commonly used machine learning models.

연구 동기 및 목표

• 다양한 당사자들이 분산 보유한 데이터를 바탕으로 협업 기계학습 마켓플레이스에서 고품질 데이터 기여를 유도하는 도전 과제를 해결한다.
• 동일한 데이터 세트를 반복 제출함으로써 재산적 이득을 얻는 전략적 행동을 방지하기 위해, 당사자가 복제 데이터를 제출해도 유리하지 않도록 보장한다.
• 샤플리 값 기반으로 데이터 유용성에 따라 공정한 수익 배분을 실현하면서도, 데이터 기밀성과 무결성을 유지한다.
• 당사자들이 원시 데이터를 수령하지 않고 특정 작업에만 유효한 모델만 수령하도록 마켓플레이스를 설계하여 데이터 泄露 또는 재사용을 방지한다.
• 지급 메커니즘이 복제에 강건하며 정직한 기여자에게 불공평한 처벌을 내리지 않도록 보장한다.

제안 방법

• 특정 당사자의 검증 작업 성능에 기반한 새로운 특성 함수를 사용하여, 샤플리 값을 계산함으로써 공정한 데이터 기여도를 산정한다.
• 검증 작업의 복잡성 또는 가치에 비례해 증가하는 참가 수수료를 도입하여, 복제에 비용이 들지 않게 하여 복제 유인을 차단한다.
• 지정된 검증 작업에만 유효한 맞춤형 모델을 훈련시켜 다른 작업에 대한 재사용을 방지한다.
• 안전한 하드웨어(예: Intel SGX)를 활용하여 데이터 기밀성과 무결성을 보장하고, 원격 인증을 통해 신뢰를 확보한다.
• 클라우드 기반 마켓플레이스를 구현하여 데이터는 암호화되어 처리되며, 평문 데이터 노출 없이 격리된 환경에서 처리된다.
• 데이터 평가, 작업별 맞춤형 모델 훈련, 수수료 기반 참가 메커니즘을 융합하여 자율적이고 일관된 인센티브 구조를 설계한다.

실험 결과

연구 질문

• RQ1 협업 기계학습 마켓플레이스에서 참가자들의 실제 기여도에 비례해 공정하게 보상할 수 있는 방법은 무엇인가?
• RQ2 동일한 데이터 세트를 여러 번 제출함으로써 유리한 위치를 점유하는 것을 방지하기 위한 메커니즘은 무엇인가?
• RQ3 정확한 모델 훈련과 공정한 지급 배분을 가능하게 하면서도 데이터 기밀성을 유지할 수 있는 방법은 무엇인가?
• RQ4 다양한 당사자가 참여하는 협업 기계학습 환경에서 샤플리 값이 데이터 복제에 강건하도록 조정할 수 있는가?
• RQ5 작업별 맞춤형 모델 커스터마이제이션은 데이터 泄露 및 오용을 방지하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 지급 메커니즘은 복제된 당사자들의 총 샤플리 값이 복제가 없는 한 명의 정직한 당사자보다 초과되지 않음을 보장한다. 복제 수가 증가함에 따라 이는 여전히 성립한다.
• 새로운 특성 함수를 사용할 경우, 정직한 당사자의 샤플리 값은 복제 그룹의 값과 안정적으로 동일하게 유지되며, 이는 복제가 유리하지 않음을 입증한다.
• 실험 결과는 로지스틱 회귀와 같은 일반적으로 사용되는 모델에 대해 샤플리 값 계산의 이론적 가정이 약간의 근사로 충족됨을 확인한다.
• 마켓플레이스에서 훈련된 맞춤형 모델은 요청된 검증 작업에서만 우수한 성능을 보이며, 다른 작업으로의 오용이나 이전 사용을 방지한다.
• 검증 작업에 연계된 참가 수수료 통합은 복제 비용과 잠재적 수익 간의 균형을 효과적으로 맞추며, 데이터 복제 유인을 완전히 제거한다.
• 안전한 환경(예: Intel SGX)은 데이터가 격리된 환경에서 처리되고 평문 형태로 노출되지 않음을 보장함으로써 마켓플레이스에 대한 신뢰를 가능하게 한다.