[논문 리뷰] Toward an Automated Auction Framework for Wireless Federated Learning Services Market

Yutao Jiao, Ping Wang외 3명|arXiv (Cornell University)|2019. 12. 13.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 9

한 줄 요약

이 논문은 사회적 복지를 극대화하기 위해 역다차원 Auction(RMA) 및 딥 강화학습 기반 Auction(DRLA) 메커니즘을 사용하는 무선 페더레이티드 러닝(FL) 서비스를 위한 자동화된 경매 프레임워크를 제안한다. DRLA 메커니즘은 그래프 신경망과 딥 강화학습을 통합하여, 무선 환경 제약과 데이터 품질을 고려하면서도 작업자 선정 및 지불을 최적화함으로써 RMA 및 기준 메커니즘보다 더 높은 사회적 복지를 달성한다.

ABSTRACT

In traditional machine learning, the central server first collects the data owners' private data together and then trains the model. However, people's concerns about data privacy protection are dramatically increasing. The emerging paradigm of federated learning efficiently builds machine learning models while allowing the private data to be kept at local devices. The success of federated learning requires sufficient data owners to jointly utilize their data, computing and communication resources for model training. In this paper, we propose an auction based market model for incentivizing data owners to participate in federated learning. We design two auction mechanisms for the federated learning platform to maximize the social welfare of the federated learning services market. Specifically, we first design an approximate strategy-proof mechanism which guarantees the truthfulness, individual rationality, and computational efficiency. To improve the social welfare, we develop an automated strategy-proof mechanism based on deep reinforcement learning and graph neural networks. The communication traffic congestion and the unique characteristics of federated learning are particularly considered in the proposed model. Extensive experimental results demonstrate that our proposed auction mechanisms can efficiently maximize the social welfare and provide effective insights and strategies for the platform to organize the federated training.

연구 동기 및 목표

• 기밀성 우려와 자원 제약로 인해 데이터 소유자가 페더레이티드 러닝에 참여하도록 유도하는 데 도전하는 것.
• 이질적인 데이터 소유자를 포함한 무선 FL 시장에서 사회적 복지를 극대화하는 경매 메커니즘을 설계하는 것.
• 경매 설계에서 진정성, 개인적 합리성, 계산 효율성과 같은 경제적 성질을 보장하는 것.
• 통신 혼잡도 및 비대칭 채널 조건과 같은 무선 특화 제약 조건을 경매 모델에 통합하는 것.
• 딥 강화학습과 그래프 신경망을 활용한 자동화된 전략 불가능 메커니즘을 개발하여 성능을 향상시키는 것.

제안 방법

• 데이터 크기, EMD(지구이동거리), 무선 채널 수요를 핵심 속성으로 고려하는 역다차원 경매(RMA) 메커니즘을 설계한다.
• 실제 실험 기반의 데이터 품질 함수를 도입하여 데이터 크기와 EMD를 모델 정확도로 매핑함으로써 작업자 기여도의 공정한 평가를 가능하게 한다.
• 작업자 보고 유형의 특징을 추출하고 최적의 할당 정책을 학습하기 위해 그래프 신경망을 활용한 딥 강화학습 기반 경매(DRLA) 메커니즘을 개발한다.
• 누적 사회적 복지를 기반으로 한 보상 신호를 사용하여 DRLA 에이전트를 훈련함으로써 수백 개의 미니배치 후에 높은 성능 전략으로 수렴하도록 한다.
• 지불 규칙과 할당 논리의 철저한 설계를 통해 RMA 및 DRLA 메커니즘 모두에서 진정성과 개인적 합리성을 보장한다.
• 비대칭 업링크 속도와 혼잡으로 인한 연결 끊김 가능성을 고려한 현실적인 무선 환경을 모델링한다.

실험 결과

연구 질문

• RQ1 이질적인 데이터 소유자를 포함한 무선 페더레이티드 러닝 시장에서 사회적 복지를 극대화하기 위해 어떤 경매 메커니즘이 설계되어야 하는가?
• RQ2 FL 경매 메커니즘에서 유지되어야 할 핵심 경제적 성질(진정성, 개인적 합리성, 계산 효율성)은 무엇인가?
• RQ3 데이터 크기와 EMD로 측정되는 데이터 품질은 어떻게 효과적으로 모델링하고 경매 메커니즘에 통합할 수 있는가?
• RQ4 딥 강화학습과 그래프 신경망은 게임 이론적 또는 규칙 기반 메커니즘에 비해 사회적 복지에 얼마나 향상된 성능을 제공하는가?
• RQ5 채널 혼잡도 및 비대칭 업링크 속도와 같은 무선 제약 조건은 경매 성능과 작업자 선정에 어떤 영향을 미치는가?

주요 결과

• DRLA 메커니즘은 RMA 메커니즘보다 더 높은 사회적 복지를 달성하며, 수백 개의 미니배치 훈련 후에 안정적이고 높은 성능으로 수렴한다.
• RMA 및 DRLA 메커니즘의 사회적 복지는 데이터 소유자의 수가 증가함에 따라 증가하지만, 추가 참가자의 한계 수익이 감소함에 따라 감소율이 점점 줄어든다.
• 플랫폼의 데이터 품질 기준을 높이기 위해 d_max를 증가시키거나 σ_max를 낮추면, 충분한 고품질 데이터 소유자가 확보되어 있을 경우 사회적 복지가 증가한다.
• DRLA 메커니즘은 고가치 작업자를 순차적으로 선정함으로써 낮은 품질의 참가자에게 기회를 줄 수 없기 때문에 RMA보다 덜 공정하다.
• 문헌 [44]의 벤치마크 스펙트럼 경매 메커니즘은 데이터 품질과 무선 제약 조건을 무시하므로 RMA 및 DRLA보다 낮은 사회적 복지를 기록하며, 이는 맞춤형 FL 경매 설계의 필요성을 확인한다.
• RMA 메커니즘에서 그룹 수(G)를 늘리면 고품질 데이터 소유자를 더 잘 식별할 수 있어 사회적 복지가 향상되며, 낮은 품질 기여자에 대한 의존도가 감소한다.