[논문 리뷰] Resource-Constrained Federated Learning with Heterogeneous Labels and Models

Gautham Krishna Gudur, Bala Shyamala Balaji외 1명|arXiv (Cornell University)|2020. 11. 06.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 $α$-가중치 평균화를 통한 모델 점수 집합을 통해 이질적인 모델과 레이블을 처리하는 자원 효율적인 플랫폼 기반 연합 학습 프레임워크를 제안한다. 이는 전체 모델 가중치를 전송하지 않고도 강력한 글로벌 모델 업데이트를 가능하게 하며, Animals-10 데이터셋에서 평균 결정론적 정확도 향상률이 16.7%에 이를 뿐만 아니라, 레이블 겹침 상황에서의 성능 향상도 두드러지게 나타내며, Raspberry Pi 2와 같은 엣지 디바이스에서도 구현 가능함을 입증한다.

ABSTRACT

Various IoT applications demand resource-constrained machine learning mechanisms for different applications such as pervasive healthcare, activity monitoring, speech recognition, real-time computer vision, etc. This necessitates us to leverage information from multiple devices with few communication overheads. Federated Learning proves to be an extremely viable option for distributed and collaborative machine learning. Particularly, on-device federated learning is an active area of research, however, there are a variety of challenges in addressing statistical (non-IID data) and model heterogeneities. In addition, in this paper we explore a new challenge of interest -- to handle label heterogeneities in federated learning. To this end, we propose a framework with simple $\\alpha$-weighted federated aggregation of scores which leverages overlapping information gain across labels, while saving bandwidth costs in the process. Empirical evaluation on Animals-10 dataset (with 4 labels for effective elucidation of results) indicates an average deterministic accuracy increase of at least ~16.7%. We also demonstrate the on-device capabilities of our proposed framework by experimenting with federated learning and inference across different iterations on a Raspberry Pi 2, a single-board computing platform.

연구 동기 및 목표

• 비독립identical 분포(non-IID) 환경에서의 레이블 및 모델 이질성 문제를 해결하기 위해, 특히 자원 제약이 있는 IoT 및 엣지 환경에서의 적용을 목적으로 한다.
• 모델 가중치 전송이 필요 없이 효과적인 글로벌 모델 집합을 가능하게 하여 통신 오버헤드를 줄이기 위해 개발된다.
• 레이어별 레이블 겹침 정보를 활용하여 가중치 점수 집합을 통해 정확도를 향상시키고, 지식 전달을 강화한다.
• Raspberry Pi 2와 같은 저전력 플랫폼에서 실시간 추론 및 학습을 위한 연합 학습의 디바이스 내 실행 가능성을 입증한다.

제안 방법

• 전체 모델 가중치 대신 모델 점수의 $α$-가중치 평균화를 제안함으로써 대역폭과 지연을 줄인다.
• 레이어 간 겹침 레이블 정보를 활용해 가중치가 부여된 글로벌 업데이트를 계산함으로써 클라이언트 간 지식 전달을 향상시킨다.
• 모델 정교화를 피하기 위해 점수 수준의 일치를 통한 국소 모델 출력 정렬을 위한 전이 학습 원리를 적용한다.
• 레이어 간 레이블 겹침에 따라 동적으로 클라이언트 기여도를 가중치화하는 단순하면서도 효과적인 집합 전략을 설계한다.
• 클라이언트와 서버 간에 전체 가중치가 아닌 모델 점수만 교환하는 통신 효율적인 프로토콜을 구현한다.
• 세 명의 클라이언트가 서로 부분적으로 겹치는 레이블 세트를 가진 Animals-10 데이터셋에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 비독립identical 분포 환경에서의 레이블 및 모델 이질성에 대해 연합 학습이 어떻게 강건하게 유지될 수 있는가?
• RQ2 레이어 간 겹침 레이블을 기반으로 한 점수 수준 집합이 전체 모델 가중치 전송 없이 글로벌 모델 정확도 향상에 기여할 수 있는가?
• RQ3 레이어 간 겹침 레이블이 연합 학습에서 글로벌 모델 업데이트의 안정성과 성능에 미치는 영향은 어떠한가?
• RQ4 엔드 디바이스에서의 계산 및 통신 오버헤드 측면에서 제안된 프레임워크의 효율성은 어떠한가?
• RQ5 Raspberry Pi 2와 같은 저자원 플랫폼에서 실시간 추론 및 학습을 위한 효과적인 배포가 가능한가?

주요 결과

• 제안된 프레임워크는 로컬 모델 대비 모든 클라이언트에서 평균적으로 결정론적 정확도 향상률이 16.7%에 이를 뿐만 아니라, 레이블 겹침 상황에서 뚜렷한 성능 향상을 보였다.
• 레이블 {Dog, Sheep}를 가진 사용자 2는 23.17%의 정확도 향상을 기록하여, 겹침 레이블 정보의 효과를 입증했다.
• 낮은 레이블 겹침을 가진 사용자 1과 사용자 3는 각각 17.36%와 9.3%의 향상률을 기록하여, 레이블 겹침이 성능 향상에 기여함을 확인했다.
• 레이어 간 겹침이 존재할 경우, 로컬 정확도 변동이 있더라도 글로벌 모델이 안정적으로 유지됨을 확인했으며, 사용자 2의 경우 로컬 정확도 하락에도 불구하고 안정적인 글로벌 업데이트를 기록했다.
• 디바이스 내 추론은 샘플당 15ms로 매우 빠르며, Raspberry Pi 2에서 에포크당 학습 시간은 약 1.8초로 엣지 하드웨어에서의 실행 가능성을 입증했다.
• 전체 정교화를 피하기 때문에, 프레임워크는 모델 정교화 기반 접근법 대비 디바이스 내 계산 시간에서 뛰어난 성능을 보였다.