[논문 리뷰] A VCG-based Fair Incentive Mechanism for Federated Learning

Mingshu Cong, Han Yu외 4명|arXiv (Cornell University)|2020. 08. 15.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 22

한 줄 요약

이 논문은 데이터 소유자가 기여한 데이터에 대해 공정하게 보상하면서도 진실성, 개인적 합리성, 약한 예산 균형을 보장하는 VCG 기반의 인센티브 메커니즘인 FVCG를 제안한다. 신경망을 사용해 기능 최적화 문제를 해결하여 낮은 불공평성으로 높은 사회적 잉여를 달성하며, 수많은 실험을 통해 수렴성과 경제적 타당성을 검증하였다.

ABSTRACT

The enduring value of the Vickrey-Clarke-Groves (VCG) mechanism has been highlighted due to its adoption by Facebook ad auctions. Our research delves into its utility in the collaborative virtual goods production (CVGP) game, which finds application in realms like federated learning and crowdsourcing, in which bidders take on the roles of suppliers rather than consumers. We introduce the Procurement-VCG (PVCG) sharing rule into existing VCG mechanisms such that they can handle capacity limits and the continuous strategy space characteristic of the reverse auction setting in CVGP games. Our main theoretical contribution provides mathematical proofs to show that PVCG is the first in the CVGP game context to simultaneously achieve truthfulness, Pareto efficiency, individual rationality, and weak budget balance. These properties suggest the potential for Pareto-efficient production in the digital planned economy. Moreover, to compute the PVCG payments in a noisy economic environment, we propose the Report-Interpolation-Maximization (RIM) method. RIM facilitates the learning of the optimal procurement level and PVCG payments through iterative interactions with suppliers.

연구 동기 및 목표

• 연합 학습에서 데이터 소유자에게 공정하게 보상하면서도 데이터 기밀성을 유지하는 인센티브 메커니즘을 설계하기 위해.
• 데이터 소유자가 자신의 데이터 품질과 사적 비용을 진실로 보고하도록 보장하여 연합 학습 연합의 참여와 지속 가능성을 증진하기 위해.
• 연합 학습의 수익 분배에서 불공평성을 최소화하면서 사회적 잉여를 극대화하기 위해.
• 주류 연합 학습 플랫폼과 호환되는 실용적이고 구현 가능한 메커니즘을 개발하기 위해.
• 정보 비대칭을 해결하기 위해 인센티브 호환성과 개인적 합리성을 갖춘 메커니즘을 설계하기 위해.

제안 방법

• FVCG는 비크레피-클락-그로브스(VCG) 메커니즘을 기반으로 하여, 인센티브 호환성과 효율성의 특성을 활용한다.
• 이 메커니즘은 이원적 지불 구조를 사용한다: 이진 참가 결정(η_i)과 보고된 데이터 품질 및 비용 유형에 기반한 부드러운 지불 조정(h_i + g_i)이다.
• 신경망은 복잡한 지불 함수 h_i와 g_i를 근사하여 공정성, 개인적 합리성, 약한 예산 균형 제약 조건 하에서 기능 최적화 문제를 해결한다.
• 학습 목표는 불공평성(Loss1), 개인적 합리성(Loss2), 약한 예산 균형(Loss3)의 세 가지 손실 구성 요소를 조합하며, 안정성을 확보하기 위해 초모수를 조정한다.
• 메커니즘은 다층 퍼셉트론(3개의 10차원 및 1개의 50차원 히든 레이어)으로 구현되며, 120회 반복 이내에 수렴하도록 역전파를 통해 훈련된다.
• 최종 지불 함수 p(q, γ)는 훈련된 네트워크에서 유도되며, 다양한 데이터 품질 및 비용 유형 시나리오에서 최적의 경제적 성질을 보장한다.

실험 결과

연구 질문

• RQ1 어떻게 연합 학습 인센티브 메커니즘을 설계하여 데이터 소유자가 자신의 데이터 품질과 사적 비용을 진실로 보고하도록 할 수 있는가?
• RQ2 어떤 지불 구조가 데이터 공유 연합에서 사회적 잉여를 극대화하면서도 불공평성을 최소화하는가?
• RQ3 신경망을 사용해 복잡한 지불 함수를 근사함으로써 VCG 기반 메커니즘이 실질적으로 연합 학습 플랫폼에 구현 가능한가?
• RQ4 실제 데이터 품질 및 비용 분포 하에서 개인적 합리성, 약한 예산 균형, 공정성 등의 경제적 성질은 어떻게 유지되는가?
• RQ5 비용 유형과 데이터 품질이 결과 지불에 미치는 영향은 무엇이며, 메커니즘은 경제적 직관을 반영하는가?

주요 결과

• 학습 손실은 120회 반복 후 수렴하였으며, Loss3(약한 예산 균형)는 0에 가까워져 대부분의 경우 예산 균형이 만족됨을 나타내지만, 사전 확률이 10^-2 미만인 드문 고비용 시나리오에서는 예외가 있다.
• Loss2(개인적 합리성)는 훈련 전반에 걸쳐 0을 유지하여 모든 데이터 소유자가 비음수 지불을 받고 있음을 확인하였으며, 이는 개인적 합리성이 확보되었음을 뜻한다.
• Loss1(불공평성)는 양수를 유지하여 선형 지불 구조를 피하고 설계상으로 공정성을 유지함을 확인하였으며, 선형 지불은 동시에 IR과 WBB를 만족시킬 수 없다.
• 데이터 소유자(p_0)의 지불액은 데이터 품질(q_0)이 증가함에 따라 증가하며, 이는 더 높은 품질의 데이터에 더 높은 보상이 주어져야 한다는 경제적 직관과 일치한다.
• 고비용 유형(γ_0)의 경우, 임계값을 초과하면 지불액이 급격히 감소하여 이원적 구조를 반영한다. 이는 고비용 소유자는 배제되지만 여전히 소규모 참가 보상은 받는다.
• 지불 조정 항목(h_i + g_i)은 부드럽고 데이터 품질에 민감하지만, 비용 유형에 대해 상대적으로 민감도가 낮다. 이는 실험 설정에서 불공평성 함수에 비용 유형이 포함되지 않았기 때문이다.