[논문 리뷰] Personalised Federated Learning On Heterogeneous Feature Spaces

Alain Rakotomamonjy, Maxime Vono외 2명|arXiv (Cornell University)|2023. 01. 26.

Privacy-Preserving Technologies in Data참고 문헌 61인용 수 5

한 줄 요약

이 논문은 클라이언트가 서로 다른 데이터 표현 방식을 사용하는 이질적 특성 공간을 위한 개인화된 피에르드 페더레이티드 러닝 프레임워크인 FLIC을 제안한다. 클라이언트의 데이터를 학습 가능한 국소 임bedding 함수를 통해 공유 잠재 공간으로 매핑하고, 연합적으로 학습된 워셔스타인 바리센터 앵커를 사용해 분포를 정렬함으로써, 데이터 이질성에도 불구하고 효과적인 모델 집약과 성능 향상을 가능하게 한다.

ABSTRACT

Most personalised federated learning (FL) approaches assume that raw data of all clients are defined in a common subspace i.e. all clients store their data according to the same schema. For real-world applications, this assumption is restrictive as clients, having their own systems to collect and then store data, may use heterogeneous data representations. We aim at filling this gap. To this end, we propose a general framework coined FLIC that maps client's data onto a common feature space via local embedding functions. The common feature space is learnt in a federated manner using Wasserstein barycenters while the local embedding functions are trained on each client via distribution alignment. We integrate this distribution alignement mechanism into a federated learning approach and provide the algorithmics of FLIC. We compare its performances against FL benchmarks involving heterogeneous input features spaces. In addition, we provide theoretical insights supporting the relevance of our methodology.

연구 동기 및 목표

• 클라이언트가 공통의 데이터 스키마를 가정하는 개인화된 페더레이티드 러닝의 한계를 해결하기 위해, 이는 실세계에서는 흔히 현실적이지 않다.
• 클라이언트가 다른 특성 차원 또는 의미를 가질 때 개인화 모델을 훈련하는 데 도전하는 문제를 해결한다.
• 이질적인 원시 데이터 표현을 가진 클라이언트 간에 효과적인 지식 공유를 가능하게 하는 프레임워크를 개발한다.
• 입력 특성이 다를지라도 같은 의미 클래스에 속하는 데이터가 공유 잠재 공간 내에서 가까이 매핑되도록 보장한다.
• 개인화된 모델 학습을 지원하는, 이론적으로 탄탄한 연합적 학습 방법으로 분포 정렬을 제공한다.

제안 방법

• 각 클라이언트의 원시 데이터를 공유된 저차원 잠재 공간으로 매핑하기 위해 국소 임베딩 함수를 도입한다.
• 분포 정렬의 기준으로 사용할 글로벌 잠재 앵커 분포를 정의하며, 이는 연합적으로 계산된 워셔스타인 바리센터를 통해 학습된다.
• 각 클라이언트의 임베딩된 데이터와 공유된 앵커 분포 간의 워셔스타인 거리를 최소화하도록 분포 정렬을 사용해 국소 임베딩 함수를 훈련한다.
• 분포 정렬 메커니즘을 개인화된 페더레이티드 러닝 프레임워크에 통합하여, 지역 모델의 개인화를 유지하면서도 글로벌 일관성을 보존한다.
• 클라이언트가 자신의 앵커 분포와 임베딩 함수를 업데이트하고 서버가 지역 앵커의 바리센터를 계산하는 연합 최적화 방식을 사용한다.
• 합성 및 실세계 데이터셋(이미지-캡션 쌍 및 테이블 형식 데이터 포함)에 프레임워크를 적용하고, 사전 훈련 및 참여 비율에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 특성 공간이 이질적인 클라이언트, 즉 차원이나 의미가 다른 데이터 표현을 가진 클라이언트에 대해 개인화된 페더레이티드 러닝을 어떻게 효과적으로 확장할 수 있는가?
• RQ2 다른 입력 표현을 가진 클라이언트 간에 동일한 의미 클래스의 데이터가 공유 잠재 공간 내에서 정렬되도록, 연합적으로 학습된 공유 잠재 공간을 어떻게 학습할 수 있는가?
• RQ3 국소 임베딩 함수의 사전 훈련과 훈련 중 업데이트가 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 클라이언트의 참여 비율이 제안된 FLIC 프레임워크에서 수렴과 성능에 어떤 영향을 미치는가?
• RQ5 워셔스타인 바리센터를 통한 분포 정렬이 이질적인 페더레이티드 러닝 환경에서 모델 정확도와 내구성을 얼마나 향상시키는가?

주요 결과

• 제안된 FLIC 프레임워크는 표준 페더레이티드 러닝 벤치마크 대비 이질적 특성 공간 환경에서 성능 향상이 뚜렷하게 향상되며, 특히 클라이언트 간 데이터 스키마가 맞지 않을 경우 두드러진다.
• 토이 선형 매핑 데이터셋에서 국소 임베딩 함수를 10~50 에포크 동안 사전 훈련하면 최적의 성능를 달성하며, 이 범위를 초과하면 과적합이 관찰된다.
• 모델은 다양한 클라이언트 참여 비율에 대해 강건하지만, 지역 훈련 에포크 수가 너무 높을 경우 과적합으로 인해 성능이 저하될 수 있다.
• t-SNE 시각화 결과, 서로 다른 클라이언트의 클래스 조건부 분포가 앵커 분포의 평균 쪽으로 수렴하는 것으로 나타나, 효과적인 분포 정렬이 이루어졌음을 확인한다.
• 손실 함수에 앵커로의 워셔스타인 거리를 포함시키면 전체 손실 값이 증가하지만, 분포 정렬과 일반화 성능 향상에 기여한다.
• 이심적 또는 흐린 텍스트 캡션을 가진 실세계 작업, 예를 들어 이미지 캡션 분류 작업에도 잘 일반화되어, 효과적인 성능 향상을 보였다.