[논문 리뷰] Federated Learning System without Model Sharing through Integration of Dimensional Reduced Data Representations

Anna Bogdanova, Akie Nakai외 3명|arXiv (Cornell University)|2020. 11. 13.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 10

한 줄 요약

이 논문은 모델 공유를 피하기 위해 차원 축소된 데이터 표현을 통합하는 방식으로 모델 공유 없이 작동하는 피어드 학습 시스템을 제안한다. 각 클라이언트는 비밀 차원 축소 함수를 사용해 국지적 데이터를 중간 표현(Intermediate Representations, IRs)으로 변환하고, 이를 공유하여 통합된 저차원 데이터셋을 생성한다. 이 방법은 피어드 어워징(FedAvg)과 유사한 정확도를 달성하며, 소규모 사용자 환경에서는 이를 능가한다.

ABSTRACT

Dimensionality Reduction is a commonly used element in a machine learning pipeline that helps to extract important features from high-dimensional data. In this work, we explore an alternative federated learning system that enables integration of dimensionality reduced representations of distributed data prior to a supervised learning task, thus avoiding model sharing among the parties. We compare the performance of this approach on image classification tasks to three alternative frameworks: centralized machine learning, individual machine learning, and Federated Averaging, and analyze potential use cases for a federated learning system without model sharing. Our results show that our approach can achieve similar accuracy as Federated Averaging and performs better than Federated Averaging in a small-user setting.

연구 동기 및 목표

• 보안, 경쟁, 규제적 우려로 인해 모델 공유가 바람직하지 않은 피어드 학습 환경에서의 프라이버시 및 협업 장벽을 해결하기 위해.
• 모델 공유를 대체할 수 있는 방법으로, 차원 축소된 표현을 통한 데이터 통합을 가능하게 하기 위해.
• 이 비모델 공유 접근법이 이미지 분류 작업에서 중심화 학습, 개별 학습, 피어드 어워징과 비교하여 성능을 평가하기 위해.
• 경쟁자 또는 반신뢰할 수 있는 당사자들이 참여하는 환경에서 데이터 협업 프레임워크의 실현 가능성과 장점을 평가하기 위해.
• 차원 축소가 공식적인 프라이버시 보장 없이도 분산 기계학습에서 프라이버시 보존 메커니즘으로서의 잠재력을 갖는지 조사하기 위해.

제안 방법

• 각 클라이언트는 국지적 데이터에 대해 비밀 차원 축소 함수를 독립적으로 적용하여 중간 표현(Intermediate Representations, IRs)을 생성하며, 이로 인해 원본 데이터가 복원될 수 없도록 보장한다.
• IRs는 중앙 집계기로 공유되며, 공유된 앵커 데이터를 사용해 통합되어 단일의 통합된 저차원 데이터셋으로 조합된다.
• 최종적으로 생성된 통합 데이터셋을 사용해 감독 학습 모델을 훈련하며, 각 클라이언트는 새로운 데이터에 대한 추론을 위해 고유한 변환 함수를 유지한다.
• 이 방법은 비밀 차원 축소 함수에서 유도된 IRs가 역행이 불가능하다는 가정에 기반하며, 이로 인해 데이터 프라이버시가 보호된다.
• 시스템은 반복적이지 않은 한 번의 통과 방식으로 작동하여 반복적 모델 평균화의 통신 오버헤드를 피한다.
• 이 접근법은 표준 이미지 분류 벤치마크를 사용해 평가되며, 중심화 학습, 개별 학습, 피어드 어워징과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 모델 공유 없이 작동하는 피어드 학습 시스템이 이미지 분류 작업에서 피어드 어워징과 유사한 성능을 달성할 수 있는가?
• RQ2 정확도와 수렴 속도 측면에서 제안된 데이터 협업 방법이 중심화 학습 및 개별 학습에 비해 어떻게 성능을 내는가?
• RQ3 특히 소규모 사용자 또는 경쟁자 간 협업 환경에서, 데이터 협업 접근법이 전통적인 모델 공유 피어드 학습보다 우월한가?
• RQ4 모델이나 원시 데이터 대신 차원 축소된 표현을 공유할 경우의 프라이버시 영향은 무엇인가?
• RQ5 공유된 앵커 데이터를 통한 IR 통합이 데이터 복원이 불가능하도록 하면서도 유용성을 유지하는 방식은 무엇인가?

주요 결과

• 제안된 데이터 협업 방법은 이미지 분류 벤치마크에서 피어드 어워징 및 중심화 학습과 유사한 테스트 정확도를 달성한다.
• 소규모 사용자 환경에서는 이 방법이 피어드 어워징을 일관되게 능가하며, 제한된 데이터 하에서 더 높은 샘플 효율성 또는 일반화 성능을 보여준다.
• 더 큰 데이터셋에서 유사한 결과를 달성하기 위해 더 적은 훈련 시간이 소요되며, 이는 수렴 효율성이 향상됨을 시사한다.
• 차원 축소된 표현의 통합은 모델이나 원시 데이터를 공유하지 않으면서도 효과적인 협업 학습을 가능하게 한다.
• 특히 지적 재산권 우려로 인해 모델 공유가 참여를 저해할 수 있는 환경에서, 이 방법은 경쟁자 간 협업에 매우 적합하다.
• 이 방법은 프라이버시에 민감하거나 경쟁적인 환경에서 모델 공유 피어드 학습의 실용적 대안으로서의 가능성을 입증한다.