[논문 리뷰] Lightweight Transformer in Federated Setting for Human Activity Recognition

Ali Raza, Kim Phuc Tran외 4명|arXiv (Cornell University)|2021. 10. 01.

Context-Aware Activity Recognition Systems인용 수 4

한 줄 요약

이 논문은 개인 정보 보호를 향상시키기 위해 피벗 학습을 사용하여 홈 헬스케어에서 인간 활동 인식(HAR)을 위한 경량의 one-patch 트랜스포머 모델인 TransFed을 제안한다. 새로 수집한 데이터셋에서 중심화된 환경에서는 99.14%의 정확도를, 피벗 학습 환경에서는 98.74%의 정확도를 기록하며, 기존의 최신 CNN 및 RNN 방법들을 능가하면서도 계산 비용을 감소시킨다.

ABSTRACT

Human activity recognition (HAR) is a machine learning task with important applications in healthcare especially in the context of home care of patients and older adults. HAR is often based on data collected from smart sensors, particularly smart home IoT devices such as smartphones, wearables and other body sensors. Deep learning techniques like convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have been used for HAR, both in centralized and federated settings. However, these techniques have certain limitations: RNNs cannot be easily parallelized, CNNs have the limitation of sequence length, and both are computationally expensive. Moreover, in home healthcare applications the centralized approach can raise serious privacy concerns since the sensors used by a HAR classifier collect a lot of highly personal and sensitive data about people in the home. In this paper, to address some of such challenges facing HAR, we propose a novel lightweight (one-patch) transformer, which can combine the advantages of RNNs and CNNs without their major limitations, and also TransFed, a more privacy-friendly, federated learning-based HAR classifier using our proposed lightweight transformer. We designed a testbed to construct a new HAR dataset from five recruited human participants, and used the new dataset to evaluate the performance of the proposed HAR classifier in both federated and centralized settings. Additionally, we use another public dataset to evaluate the performance of the proposed HAR classifier in centralized setting to compare it with existing HAR classifiers. The experimental results showed that our proposed new solution outperformed state-of-the-art HAR classifiers based on CNNs and RNNs, whiling being more computationally efficient.

연구 동기 및 목표

• 중앙 집중식 데이터 수집을 피벗 학습으로 대체하여 홈 헬스케어에서의 개인 정보 보호 문제를 해결한다.
• RNN의 병렬 처리가 어려운 점(낮은 병렬성)과 CNN의 시퀀스 길이 제약을 극복하기 위해 새로운 경량 트랜스포머 아키텍처를 사용하여 HAR에서의 한계를 극복한다.
• 대규모 중심화된 데이터에 의존하지 않고도 높은 정확도를 유지하면서도 계산 비용이 적은 HAR 모델을 개발한다.
• 시뮬레이션된 홈 환경에서 5명의 참가자가 15가지 활동을 수행한 데이터를 기반으로 새로운 공개된 HAR 데이터셋을 구축한다.
• 실제 피벗 학습 환경에서 흔히 발생하는 비독립 동일 분포(non-IID) 데이터 분포 조건에서 모델의 강건성을 평가한다.

제안 방법

• 입력 시퀀스의 단일 패치만 처리함으로써 파rameter 수와 계산량을 줄이는 one-patch 경량 트랜스포머 아키텍처를 제안한다.
• 경량 트랜스포머를 통합한 피벗 학습 프레임워크인 TransFed를 설계하여 원시 센서 데이터를 공유하지 않고도 분산된 기기 간 모델 학습을 가능하게 한다.
• 가속도계, 자이로스코프, 자석계를 다양한 신체 부위에 부착하여 최대 충격 지점(PMI)을 식별함으로써 최적의 데이터 수집 위치를 확보하기 위한 테스트베드를 구현한다.
• 실제 피벗 학습 환경에서의 클라이언트 데이터 편향을 시뮬레이션하기 위해 비독립 동일 분포(non-IID) 데이터 분포를 사용하여 모델 일반화 능력을 평가한다.
• 비독립 동일 분포 조건에서 수렴 안정성을 확보하기 위해 표준 피벗 평균화(FedAvg)에 FedProx를 적용한다.
• 성능의 교차 검증을 위해 새로 수집한 데이터셋과 공개된 WISDM 데이터셋 양쪽 모두에서 모델을 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 경량 one-patch 트랜스포머가 기존 최신 CNN 및 RNN 모델보다 더 높은 HAR 정확도를 달성하면서도 계산 비용이 적은가?
• RQ2 비독립 동일 분포(non-IID) 데이터 분포 조건에서 제안된 TransFed 프레임워크는 피벗 학습 환경에서 어떻게 성능을 발휘하는가?
• RQ3 센서 배치(예: 손목, 가슴, 허벅지)는 HAR 성능에 어떤 영향을 미치며, 어떤 위치에서 가장 유용한 신호를 제공하는가?
• RQ4 제안된 방법은 참여자 수가 제한되고 다양한 데이터 분포를 가진 실생활 홈 헬스케어 환경에서 높은 정확도와 개인 정보 보호를 유지할 수 있는가?
• RQ5 공개 데이터셋과 새로 수집한 데이터셋 양쪽에서 평가했을 때, 기존 HAR 방법들과 비교해 모델의 성능은 어떻게 되는가?

주요 결과

• 제안된 경량 트랜스포머는 새로 수집한 데이터셋에서 중심화된 학습 환경에서 99.14%의 정확도를 기록하며, 기존 CNN 및 RNN 기반 방법들을 능가한다.
• 피벗 학습 환경에서는 동일한 데이터셋에서 98.74%의 정확도를 달성하여 분산 처리 및 비독립 동일 분포 조건에서도 뛰어난 성능을 보였다.
• WISDM 공개 데이터셋에서 중심화된 평가 조건에서 98.89%의 정확도를 기록하며, 이전 최신 기술들을 능가했다.
• one-patch 아키텍처 덕분에 계산 비용이 크게 감소하여 기존 트랜스포머 대비 파라미터 수와 추론 비용이 감소한 경량성과 뛰어난 계산 효율성을 확보했다.
• 센서 배치가 성능에 큰 영향을 미쳤으며, 각 센서 유형에 최적의 위치(PMI)를 식별하여 데이터 품질과 분류 정확도를 향상시켰다.
• 비독립 동일 분포 데이터에 대해 강건성을 보였지만, 성능은 클라이언트의 데이터 분포에 따라 변동성이 있었으며, 실사용 환경에서는 적응형 집계 전략이 필요함을 시사했다.