[논문 리뷰] Collaborative Machine Learning with Incentive-Aware Model Rewards

Rachael Hwee Ling Sim, Yehong Zhang외 2명|arXiv (Cornell University)|2020. 10. 24.

Data Stream Mining Techniques인용 수 33

한 줄 요약

본 논문은 협업 머신러닝에서 보상에 민감한 인센티브를 반영한 모델 보상 체계를 제안하고, 각 당사자의 데이터를 정보 이득 및 샤플리 값을 통해 평가하며, 집계 데이터에 가우시안 노이즈를 주입해 보상을 실현한다; 합성 데이터와 실제 데이터세트에서 속성과 실험적 성능을 보여준다.

ABSTRACT

Collaborative machine learning (ML) is an appealing paradigm to build high-quality ML models by training on the aggregated data from many parties. However, these parties are only willing to share their data when given enough incentives, such as a guaranteed fair reward based on their contributions. This motivates the need for measuring a party's contribution and designing an incentive-aware reward scheme accordingly. This paper proposes to value a party's reward based on Shapley value and information gain on model parameters given its data. Subsequently, we give each party a model as a reward. To formally incentivize the collaboration, we define some desirable properties (e.g., fairness and stability) which are inspired by cooperative game theory but adapted for our model reward that is uniquely freely replicable. Then, we propose a novel model reward scheme to satisfy fairness and trade off between the desirable properties via an adjustable parameter. The value of each party's model reward determined by our scheme is attained by injecting Gaussian noise to the aggregated training data with an optimized noise variance. We empirically demonstrate interesting properties of our scheme and evaluate its performance using synthetic and real-world datasets.

연구 동기 및 목표

• 데이터 공유를 위해 공정한 인센티브가 필요한 참가자들이 참여하는 협력적 머신러닝을 촉진한다.
• 정보성을 반영하기 위해 모델 매개변수에 대한 정보 이득을 사용해 각 당사자의 데이터를 평가한다.
• 자유롭게 복제 가능한 보상을 전제로 공정성, 안정성, 그리고 집단 복지를 달성하는 모델 보상 체계를 설계한다.
• 최적화된 가우시안 노이즈로 집계 데이터를 섭동하여 계산된 보상을 실현한다.
• 속성과 성능을 입증하기 위해 합성 및 실제 데이터셋에서 접근법을 경험적으로 평가한다.

제안 방법

• 모델 매개변수에 대한 정보 이득을 고려한 데이터 가치를 평가한다.
• 자유롭게 복제 가능한 모델 보상으로의 보상 인센티브를 cooperative game 이론에 적용한다(샤플리 공정성, 안정성, 개인적 합리성, 집단 복지).
• 공정성과 다른 인센티브 간의 trade-off를 조정하기 위한 조정 가능한 매개변수 rho 를 도입하는 rho-샤플리 공정성.
• 샤플리 값을 보상으로 매핑하여 r_i = (phi_i/phi*)^rho * v_N 를 통해 rho-샤플리 공정성을 달성한다.
• 다른 당사자들의 데이터에 가우시안 노이즈를 주입하고 목표 보상을 달성하기 위해 노이즈 분산 eta_i 를 최적화하여 보상을 실현한다.
• 베이지안 회귀 모델을 사용한 합성 및 실제 데이터세트에 대한 정보 이득과 보상 동향을 연구하기 위한 실증 평가.

실험 결과

연구 질문

• RQ1 다수의 당사자가 기여한 데이터를 어떻게 평가해야 협업을 유도할 수 있는가?
• RQ2 협력적으로 학습된 모델 시나리오에서 공정성, 안정성, 개인적 합리성을 보장하는 보상 체계가 가능한가?
• RQ3 결정된 모델 보상을 과다한 데이터 하위집합 선택 없이 실제로 어떻게 실현할 수 있는가?
• RQ4 rho 매개변수가 공정성, 집단 복지, 안정성에 어떤 영향을 미치는가?

주요 결과

• 저자들은 공통 검증 데이터세트에 의존하지 않고 모델 매개변수의 정보 이득을 통해 데이터 가치를 정의하는 방법을 제시한다.
• 샤플리 기반의 공정성 프레임워크를 제안하고 이를 rho-샤플리 공정성으로 확장해 인센티브의 균형을 맞추며, 보상은 상수 k 및 지수 rho 로 크기가 조정된다.
• 보상 체계는 비음수성, 실행 가능성, 약한 효율성, 공정성 특성을 만족하고, 데이터 가치의 단조성 하에서 그랜드-연합의 안정성을 높일 수 있다.
• 보상을 실현하기 위해 다른 당사자들의 데이터에 가우시안 노이즈를 추가하고 목표 보상을 달성하기 위해 연속적인 노이즈 분산 파라미터를 최적화한다.
• 합성 Friedman 데이터 및 실제 데이터셋(당뇨 진행 상황, 캘리포니아 주택)에서의 실증 평가를 통해 정보 이득이 예측 성능과 어떤 관련이 있는지, rho가 IG 및 MNLP 지표에 어떻게 영향을 미치는지 보여준다.
• 이 접근법은 모델 보상을 자유롭게 복제 가능한 디지털 재화로 모델링하여 금전적 보상 없이도 협업을 유도할 수 있는 가능성을 강조한다.