[논문 리뷰] Improving Fairness for Data Valuation in Federated Learning.

Zhenan Fan, Fang Huang외 5명|arXiv (Cornell University)|2021. 09. 19.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 4

한 줄 요약

이 논문은 낮은 질량 기여 행렬을 보완함으로써 원래의 피어드레이티드 셰플리 값에서 발생하는 일관성 문제를 해결하는 완성된 피어드레이티드 셰플리 값이라는 공정성 향상된 데이터 평가 방법을 제안한다. 이론적 및 실증적 결과는 온건한 조건 하에서 공정성이 향상되었음을 보여주며, 동일한 데이터 소유자들이 유사한 평가를 받음을 보장한다.

ABSTRACT

Federated learning is an emerging decentralized machine learning scheme that allows multiple data owners to work collaboratively while ensuring data privacy. The success of federated learning depends largely on the participation of data owners. To sustain and encourage data owners' participation, it is crucial to fairly evaluate the quality of the data provided by the data owners and reward them correspondingly. Federated Shapley value, recently proposed by Wang et al. [Federated Learning, 2020], is a measure for data value under the framework of federated learning that satisfies many desired properties for data valuation. However, there are still factors of potential unfairness in the design of federated Shapley value because two data owners with the same local data may not receive the same evaluation. We propose a new measure called completed federated Shapley value to improve the fairness of federated Shapley value. The design depends on completing a matrix consisting of all the possible contributions by different subsets of the data owners. It is shown under mild conditions that this matrix is approximately low-rank by leveraging concepts and tools from optimization. Both theoretical analysis and empirical evaluation verify that the proposed measure does improve fairness in many circumstances.

연구 동기 및 목표

• 동일한 국지적 데이터를 가진 데이터 소유자에게서 발생하는 평가 값의 차이를 초래하는 피어드레이티드 셰플리 값의 공정성 문제를 해결하기 위해.
• 데이터 소유자의 순서나 부분 집합 구성에 의존하지 않는 공정한 데이터 평가를 확보하기 위해.
• 셰플리 값의 바람직한 성질을 유지하면서 동일한 기여를 하는 데이터 기여에 대해 일관성 있는 평가를 제공하는 데이터 평가 방법을 개발하기 위해.
• 최적화 도구를 활용해 피어드레이티드 환경에서 기여 행렬의 낮은 질량 구조를 이론적으로 정당화하기 위해.
• 다양한 피어드레이티드 학습 시나리오에서 제안된 방법이 데이터 평가의 공정성을 향상시키는지 실증적으로 검증하기 위해.

제안 방법

• 피어드레이티드 학습에서 데이터 소유자의 모든 가능한 부분 집합 기여를 추정하기 위해 행렬 완성 기법을 제안한다.
• 최적화 이론을 활용해 기여 행렬의 근사 낮은 질량 구조를 정당화하기 위해 낮은 질량 근사 기법을 사용한다.
• 기여 행렬의 누락된 항목을 행렬 완성 기법을 적용해 보완함으로써 동일한 데이터 세트에 대해 일관된 평가를 보장한다.
• 평가 일관성의 최소화를 통해 원래의 피어드레이티드 셰플리 값보다 공정한 대안으로 완성된 피어드레이티드 셰플리 값을 유도한다.
• 이론적 분석을 통해 온건한 조건 하에서 기여 행렬이 근사적으로 낮은 질량임을 확인함으로써 효율적이고 공정한 추정이 가능함을 보여준다.
• 실제 및 합성 피어드레이티드 학습 데이터셋을 대상으로 실증 평가하여 공정성 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 행렬 완성 기법을 통해 동일한 기여를 하는 데이터 기여에 대한 평가 일관성 감소를 통해 피어드레이티드 셰플리 값의 공정성을 향상시킬 수 있는가?
• RQ2 피어드레이티드 학습 환경에서 데이터 소유자의 기여 행렬이 어떤 조건에서 근사적으로 낮은 질량이 되는가?
• RQ3 제안된 완성된 피어드레이티드 셰플리 값이 동일한 국지적 데이터를 가진 두 데이터 소유자에게 동일한 평가를 제공하는가?
• RQ4 다양한 피어드레이티드 학습 구성에서 완성된 피어드레이티드 셰플리 값의 공정성은 원래의 피어드레이티드 셰플리 값보다 어떻게 비교되는가?
• RQ5 제안된 평가 방법의 공정성과 일관성에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 온건한 조건 하에서 피어드레이티드 학습에서 데이터 소유자의 기여 행렬은 근사적으로 낮은 질량임이 확인되었으며, 이는 효과적인 행렬 완성을 가능하게 한다.
• 제안된 완성된 피어드레이티드 셰플리 값은 평가 일관성을 감소시켜 동일한 기여를 하는 데이터 소유자들이 유사한 값을 받도록 보장한다.
• 이론적 분석을 통해 행렬 완성 기법이 셰플리 값의 핵심 공정성 및 효율성 성질을 유지함을 확인하였다.
• 실증 평가를 통해 다양한 피어드레이티드 학습 벤치마크에서 데이터 평가의 공정성이 향상되었음을 입증하였다.
• 메모리 및 계산 효율성을 유지하면서도 셰플리 값의 바람직한 축약 성질을 훼손하지 않고 공정성을 크게 향상시켰다.
• 결과적으로 데이터 기여가 참가자 간에 대칭적이거나 유사할 경우 공정성 향상 효과가 가장 두드러졌다.