[논문 리뷰] TinyFedTL: Federated Transfer Learning on Tiny Devices

Kavya Kopparapu, Eric W. Lin|arXiv (Cornell University)|2021. 10. 03.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 13

한 줄 요약

TinyFedTL은 자원이 제한된 마이크로컨트롤러를 위한 최초의 분산 전이 학습 프레임워크를 소개하며, 데이터가 증가함에 따라 메모리 사용량이 증가하지 않도록 하면서도 기밀성을 유지하는 디바이스 내 모델 훈련을 가능하게 한다. 이는 사전 훈련된 CNN 특징을 사용하고 디바이스 내에서 오직 마지막 완전 연결 층만 미세조정함으로써 달성되며, 통신 오버헤드가 최소화된 상태에서 CIFAR-10에서 효과적인 성능을 보였다.

ABSTRACT

TinyML has rose to popularity in an era where data is everywhere. However, the data that is in most demand is subject to strict privacy and security guarantees. In addition, the deployment of TinyML hardware in the real world has significant memory and communication constraints that traditional ML fails to address. In light of these challenges, we present TinyFedTL, the first implementation of federated transfer learning on a resource-constrained microcontroller.

연구 동기 및 목표

• 중앙 서버에 데이터를 공유할 수 없는 엣지 디바이스에서 기밀성을 유지하는 머신러닝의 증가하는 수요를 해결한다.
• 외부 스토리지나 빈번한 서버 통신 없이도 마이크로컨트롤러에서의 디바이스 내 분산 학습을 가능하게 하여 TinyML의 메모리 및 통신 제약을 극복한다.
• 사전 훈련된 밀집 층이 필요하지 않은 마이크로컨트롤러에서의 전이 학습 방법을 개발하여 새로운 분류 작업을 위한 재훈련을 가능하게 한다.
• Arduino Nano 33 BLE Sense와 같은 초소형 하드웨어에서 분산 학습의 실현 가능성을 입증한다.
• 마이크로컨트롤러에 분산 학습을 구현할 때 발생하는 주요 과제를 규명하고 확장성 및 효율성 향상을 위한 해결책을 제안한다.

제안 방법

• 사전 훈련된 CNN에서 마지막 완전 연결(밀집) 층을 제거하여 네트워크를 고정된 특징 추출기로 사용하고, 특징 벡터 출력만 유지한다.
• ImageNet 또는 Visual Wake Words에서 공급되는 상용 사전 훈련된 가중치를 사용하여 재훈련 없이도 의미 있는 특징을 생성한다.
• 특징 추출기 가중치를 동결한 채로, 현지 데이터를 사용하여 오직 마지막 완전 연결 층만 디바이스 내에서 훈련한다.
• 디바이스와 시뮬레이션된 글로벌 서버 간에 원시 데이터가 아닌 모델 가중치만 교환함으로써 분산 평균화를 구현한다. 통신은 직렬 통신을 통해 이루어진다.
• 외부 라이브러리 없이 자체적으로 스퍼스 모델 구현을 새롭게 작성하여 런타임 최적화를 달성함으로써 메모리와 지연 시간을 감소시켰다.
• 모델 가중치를 32비트 패킷으로 인코딩하고 직렬 포트를 통해 전송하여 고수준 프레임워크에 대한 의존도를 최소화했다.

실험 결과

연구 질문

• RQ1 제한된 메모리와 처리 능력을 지닌 마이크로컨트롤러에서 분산 전이 학습이 효과적으로 구현될 수 있는가?
• RQ2 특징 추출기는 고정하고 분류기 헤드만 디바이스 내에서 미세조정할 경우, 중앙 집중 훈련과 비교해 성능가 유지되는가?
• RQ3 외부 스토리지에 의존하지 않고도 훈련 예제 수가 증가함에 따라 메모리 사용량이 일정하게 유지되는가?
• RQ4 마이크로컨트롤러에서의 분산 학습 환경에서 통신 비용은 어떻게 증가하며, 지연 시간을 줄이기 위한 최적화는 무엇인가?
• RQ5 엣지 디바이스에서 전이 학습 시 사전 훈련된 밀집 층에 대한 의존도를 제거할 수 있는가? 이는 다양한 분류 작업 간의 재사용 가능성을 높인다.

주요 결과

• TinyFedTL은 Arduino Nano 33 BLE Sense에서 분산 전이 학습을 성공적으로 구현하여 마이크로컨트롤러에서의 첫 번째 구현 사례를 확립했다.
• 원시 데이터나 임bedding을 저장하지 않기 때문에, 훈련 예제 수에 관계없이 메모리 프로파일이 일정하게 유지되었다.
• 20개의 로컬 에포크에 대해 디바이스 내 훈련은 214ms 밖에 걸리지 않았으며, 이미지 캡처 및 추론은 각 추론 사이클에 8~10초가 소요되었다.
• 1바이트당 6000바이트 이상의 페이로드로 인해 장치와 서버 간 가중치 전송에 30초 이상이 소요되어 통신이 주요 병목임을 드러냈다.
• 데이터 공유 없이도 분산 평균화의 효과성을 입증하며, 표준 훈련 기법과 비교해 유사한 성능을 달성했다.
• 사전 훈련된 밀집 층이 필요하지 않아, 고양이 대 조건부가 아닌 분류 작업(예: 고양이 대 비고양이)에 대한 재훈련이 가능해져 유연성이 향상되었다.