[논문 리뷰] Federated Learning with Heterogeneous Labels and Models for Mobile Activity Monitoring

Gautham Krishna Gudur, Satheesh K. Perepu|arXiv (Cornell University)|2020. 12. 04.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 모델과 레이블의 이질성을 다루기 위해 레이블 기반 평균화와 모델 distillation, 점수 전용 통신을 사용하는 모바일 활동 모니터링을 위한 연합 학습 프레임워크를 제안한다. 라즈베리 파이 2에서 평균 결정론적 정확도 향상률이 11.01%에 이를 정도로, 통신 오버헤드를 줄이며 현장에서의 학습이 효과적으로 이루어짐을 보여준다.

ABSTRACT

Various health-care applications such as assisted living, fall detection, etc., require modeling of user behavior through Human Activity Recognition (HAR). Such applications demand characterization of insights from multiple resource-constrained user devices using machine learning techniques for effective personalized activity monitoring. On-device Federated Learning proves to be an effective approach for distributed and collaborative machine learning. However, there are a variety of challenges in addressing statistical (non-IID data) and model heterogeneities across users. In addition, in this paper, we explore a new challenge of interest -- to handle heterogeneities in labels (activities) across users during federated learning. To this end, we propose a framework for federated label-based aggregation, which leverages overlapping information gain across activities using Model Distillation Update. We also propose that federated transfer of model scores is sufficient rather than model weight transfer from device to server. Empirical evaluation with the Heterogeneity Human Activity Recognition (HHAR) dataset (with four activities for effective elucidation of results) on Raspberry Pi 2 indicates an average deterministic accuracy increase of at least ~11.01%, thus demonstrating the on-device capabilities of our proposed framework.

연구 동기 및 목표

• 사용자가 정의한 모델 아키텍처를 갖춘 개인화된, 현장에서의 연합 학습을 가능하게 하기 위해 인간 활동 인식(HAR)을 위한 연합 학습 프레임워크를 개발한다.
• 다른 기기들이 서로 다른 활동 또는 겹치는 활동 집합을 모니터링하는 등 사용자 간의 레이블 이질성 문제를 해결한다.
• 모델 가중치가 아닌 모델 점수(로짓)만 전송하여 통신 오버헤드를 줄인다.
• 겹치는 활동 정보를 활용해 레이블별 가중치 평균화를 통해 글로벌 모델 성능을 향상시킨다.
• 라즈베리 파이 2와 같은 자원 제약이 있는 모바일 디바이스에서 프레임워크의 타당성과 효율성을 검증한다.

제안 방법

• 다양한 로컬 모델들에서 공통의 스터디언트 아키텍처로 지식을 전이하기 위해 로컬 모델 디스틸리네이션을 사용하는 연합 학습 프레임워크를 제안한다.
• 레이블 기반 평균화를 적용하여 글로벌 모델 업데이트의 가중치를 레이블 겹침과 로컬 모델 정확도에 따라 동적으로 결정하는 베타 계수로 조정한다.
• 성능 평가를 위해 훈련 기간 동안 노출되지 않는 공개 데이터셋을 일관된 테스트 세트로 사용한다.
• 모델 가중치 대신 모델 점수(로짓)만 클라이언트에서 서버로 전송하여 지연 시간과 메모리 사용량을 줄인다.
• 모델 디스틸리네이션을 적용해 로컬 모델을 공통의 스터디언트 아키텍처에 맞추어, 모델 이질성에도 불구하고 효과적인 평균화를 가능하게 한다.
• 자원이 제한된 엣지 디바이스에서 효율적인 로컬 학습을 위해 조기 정지와 카테고리컬 크로스 엔트로피 손실을 사용하는 Adam 옵timizer를 적용한다.

실험 결과

연구 질문

• RQ1 사용자가 서로 다른 활동 또는 겹치는 활동 집합을 모니터링하는 모바일 HAR에서 연합 학습이 레이블 이질성을 효과적으로 다룰 수 있는가?
• RQ2 사용자 간의 레이블 겹침이 연합 학습에서 글로벌 모델의 성능과 내구성에 어떤 영향을 미치는가?
• RQ3 특히 자원 제약이 있는 디바이스에서 전체 모델 가중치 전송 대신 점수 기반 통신을 사용해도 성능 저하가 발생하지 않는가?
• RQ4 모델과 데이터의 이질성에도 불구하고 로컬 모델 디스틸리네이션은 글로벌 모델 정확도 향상에 어느 정도 기여하는가?
• RQ5 제안된 프레임워크는 실제 모바일 하드웨어인 라즈베리 파이 2에서 상당한 정확도 향상을 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 모든 사용자에 대해 로컬 업데이트에서 글로벌 업데이트로의 평균 결정론적 정확도 향상률이 11.01%에 이를 정도로 높은 성능 향상을 달성했다.
• 다른 사용자와 겹치는 활동을 모니터링한 사용자 2는 레이블 겹침으로 인한 정보 획득이 효과적으로 이루어져 가장 높은 정확도 향상률(13.58%)을 보였다.
• 겹치는 레이블이 존재할 경우 로컬 정확도가 일시적으로 떨어지는 상황에서도 글로벌 모델 업데이트가 안정적으로 유지되어 내구성이 뛰어나다는 것을 입증했다.
• 프레임워크는 라즈베리 파이 2에서 성공적으로 작동하여 실세계의 모바일 헬스 애플리케이션에서 현장에서의 연합 학습이 가능함을 확인했다.
• 점수 전용 통신은 전체 모델 가중치 전송 대비 메모리 및 지연 오버헤드를 줄여 엣지 디바이스에 효율적인 배포를 가능하게 했다.
• 모델 디스틸리네이션은 약간의 계산 오버헤드를 유발하지만, 라즈베리 파이 2와 같은 저성능 하드웨어에서도 구현 가능하다.