[논문 리뷰] Federated Action Recognition on Heterogeneous Embedded Devices

Pranjal Jain, Shreyas Goenka외 3명|arXiv (Cornell University)|2021. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 60인용 수 5

한 줄 요약

이 논문은 이질적인 임베디드 디바이스에서 동작 인식을 위한 이방향 페더레이티드 러닝 프레임워크를 제안하며, 대규모 Kinetics 모델에서의 지식 정복을 통해 작은 로컬 데이터셋에서 정확한 미세조정을 가능하게 한다. 이는 HMDB51에서 55.6%의 클립별 상위-1 정확도와 UCF101에서 89.5%를 기록하며, 중앙 서버 미세조정 기준 2% 이내의 성능을 달성했고, 동기화 방법 대비 학습 시간을 40% 감소시켰다.

ABSTRACT

Federated learning allows a large number of devices to jointly learn a model without sharing data. In this work, we enable clients with limited computing power to perform action recognition, a computationally heavy task. We first perform model compression at the central server through knowledge distillation on a large dataset. This allows the model to learn complex features and serves as an initialization for model fine-tuning. The fine-tuning is required because the limited data present in smaller datasets is not adequate for action recognition models to learn complex spatio-temporal features. Because the clients present are often heterogeneous in their computing resources, we use an asynchronous federated optimization and we further show a convergence bound. We compare our approach to two baseline approaches: fine-tuning at the central server (no clients) and fine-tuning using (heterogeneous) clients using synchronous federated averaging. We empirically show on a testbed of heterogeneous embedded devices that we can perform action recognition with comparable accuracy to the two baselines above, while our asynchronous learning strategy reduces the training time by 40%, relative to synchronous learning.

연구 동기 및 목표

• 로컬 데이터셋이 너무 작아 효과적인 학습이 어려운 자원 제약이 있는 임베디드 디바이스에서의 동작 인식을 가능하게 하기 위해.
• HMDB51 및 UCF101와 같은 작은 데이터셋에서 모델 과적합 문제를 해결하기 위해 지식 정복을 통한 사전 학습 모델 활용.
• 이종 엣지 환경에서 느린 디바이스가 학습을 지연시키는 문제를 해결하기 위해 동기화 페더레이티드 러닝의 한계를 극복하기 위해.
• 실제 엣지 배포 환경에서 다양한 디바이스 성능을 고려한 이방향 페더레이티드 최적화 전략을 개발하고 이론적으로 수렴 경계를 제시하기 위해.
• 원시 영상 데이터를 공유하지 않고도 엣지 기반 페더레이티드 러닝이 중심 집합 학습 수준의 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 중앙 서버에서 ResNet-34를 교사 모델로 사용하여 Kinetics-400 데이터셋에서 더 작은 ResNet-18 학생 모델을 지식 정복을 통해 훈련시킨다.
• 정복된 ResNet-18를 로컬 클라이언트 데이터셋(HMDB51 및 UCF101)에서의 미세조정 초기화로 사용하여, 작은 데이터에서의 일반화 능력을 향상시킨다.
• 클라이언트가 모든 장치가 준비하는 것을 기다리지 않고 독립적으로 글로벌 모델을 업데이트하는 이방향 페더레이티드 평균 알고리즘을 구현한다.
• 들어오는 클라이언트 업데이트의 영향력을 조절하기 위해 혼합 하이퍼파라미터 β와 적응형 집계 가중치 a를 도입하여 수렴 안정성을 향상시킨다.
• 비독립적 및 이종 클라이언트 조건 하에서 이방향 페더레이티드 최적화의 수렴 경계를 이론적으로 분석한다.
• 하이퍼파라미터 튜닝을 경험적으로 수행하여, HMDB51 및 UCF101 데이터셋에서 정확도를 최대화하는 최적 설정(a=0.5, β=0.7)을 규명한다.

실험 결과

연구 질문

• RQ1 대규모 사전 학습 모델에서의 지식 정복이 엣지 디바이스의 작은 로컬 데이터셋에서의 동작 인식 정확도를 향상시킬 수 있는가?
• RQ2 이종 임베디드 디바이스에서 이방향 페더레이티드 평균과 비교해 동기화 페더레이티드 평균의 수렴 속도와 정확도는 어떻게 다른가?
• RQ3 이방향 페더레이티드 학습에서 수렴 속도와 모델 정확도 사이의 최적 균형을 이루는 하이퍼파라미터 설정(a 및 β)은 무엇인가?
• RQ4 엣지 기반 페더레이티드 러닝이 데이터 공유 없이 중심 집합 학습 수준의 정확도를 얼마나 달성할 수 있는가?
• RQ5 제안된 프레임워크는 Jetson Nano 및 AGX Xavier와 같은 실제 임베디드 디바이스의 계산 및 저장 제약을 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 이방향 페더레이티드 러닝 프레임워크는 이종 임베디드 디바이스 테스트베드에서 동기화 페더레이티드 평균 대비 학습 시간을 40% 감소시켰다.
• 하이퍼파라미터 a=0.5 및 β=0.7 설정 시, HMDB51에서 55.6%의 클립별 상위-1 정확도와 UCF101에서 89.5%를 기록했으며, 중앙 서버 미세조정 기준 2% 이내의 성능을 달성했다( HMDB51에서 57.3% ).
• 교수 보조자(TE)를 통해 정복된 ResNet-18 모델은 Kinetics-400에서 54.6%의 클립별 정확도를 기록했으며, ResNet-34에서 직접 정복한 경우(53.8%)와는 물론, 초기 상태에서 학습한 경우(50.2%)보다 뛰어난 성능을 보였다.
• 에포크당 학습 시간은 디바이스 간에 크게 차이가 났다: Jetson Nano는 AGX Xavier 대비 4.7배 더 오래 걸렸다. 이는 느린 디바이스의 성능 저하를 방지하기 위해 이방향 학습이 필수적임을 시사한다.
• 이방향 학습에서 작은 β 값은 들어오는 클라이언트 업데이트에 대한 가중치를 낮게 설정하므로, 이는 결과적으로 수렴 속도를 둔화시키며, 이는 실험 결과로도 검증되었다.
• 지식 정복 과정에서 교수가 보조자를 하나 이상 추가하면 정확도 향상에 거의 기여하지 않지만 학습 시간은 증가하므로, 수익 감소 현상이 나타남을 보여주었다.