[논문 리뷰] It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation

Ilias Leontiadis, Stefanos Laskaridis외 2명|arXiv (Cornell University)|2021. 02. 02.

IoT and Edge/Fog Computing참고 문헌 15인용 수 8

한 줄 요약

이 논문은 사전학습된 모델에 조기 종료(early exits)를 부착하고, 이를 자기지도 학습 방식으로 현장에서 훈련시켜, CNN의 효율적인 디바이스 내 개인화를 가능하게 하는 PersEPhonEE 프레임워크를 제안한다. 백본(백본)은 동결해 놓고 조기 종료만을 개인화함으로써, 전반적인 모델 대비 최대 3.2배 높은 추론 처리량, 2.2배 빠른 훈련 속도, 최대 15.9% 높은 정확도를 달성하며, 제한된 또는 레이블이 없는 데이터 상황에서도 성능을 유지를 한다.

ABSTRACT

On-device machine learning is becoming a reality thanks to the availability of powerful hardware and model compression techniques. Typically, these models are pretrained on large GPU clusters and have enough parameters to generalise across a wide variety of inputs. In this work, we observe that a much smaller, personalised model can be employed to fit a specific scenario, resulting in both higher accuracy and faster execution. Nevertheless, on-device training is extremely challenging, imposing excessive computational and memory requirements even for flagship smartphones. At the same time, on-device data availability might be limited and samples are most frequently unlabelled. To this end, we introduce PersEPhonEE, a framework that attaches early exits on the model and personalises them on-device. These allow the model to progressively bypass a larger part of the computation as more personalised data become available. Moreover, we introduce an efficient on-device algorithm that trains the early exits in a semi-supervised manner at a fraction of the whole network's personalisation time. Results show that PersEPhonEE boosts accuracy by up to 15.9% while dropping the training cost by up to 2.2x and inference latency by 2.2-3.2x on average for the same accuracy, depending on the availability of labels on-device.

연구 동기 및 목표

• 모바일 디바이스에서 계산 자원, 메모리, 개인정보 보호에 대한 엄격한 제약 조건 하에서의 디바이스 내 모델 개인화 문제를 해결한다.
• 개인정보 泄露 및 높은 클라우드 인프라 비용 등의 문제를 야기하는 중심화된 개인화의 한계를 극복한다.
• 레이블이 부족하거나 존재하지 않는 상황에서도 디바이스 내 데이터만을 사용하여 정확하고 효율적인 개인화를 가능하게 한다.
• 주요 네트워크를 동결해 두고 조기 종료만을 개인화함으로써 훈련 및 추론 오버헤드를 줄인다.
• 입력의 신뢰도에 따라 추론 깊이를 동적으로 조정할 수 있는 시스템을 설계하여, 이상치 데이터에 대해서도 정확도를 유지하면서 효율성을 향상시킨다.

제안 방법

• 다양한 깊이에 위치한 여러 조기 종료를 사전학습된 CNN에 추가하며, 각 조기 종료에는 개인화를 위한 경량 분류기가 탑재된다.
• 최종 종료의 출력을 가짜 레이블 소스로 활용하는 자기지도 디스틸레이션 기법을 사용해 조기 종료를 훈련한다.
• 추론 시점에서 신뢰도 임계값을 설정하여 쉬운 입력에 대해서는 조기 종료를 허용함으로써 FLOPs와 지연 시간을 줄인다.
• 학습 중에 원본 백본 가중치를 유지함으로써 치명적인 기억 상실을 방지하고 이상치 입력에 대한 강건성을 확보한다.
• 기기 성능과 원하는 정확도-지연 시간 트레이드오프를 고려해 최적의 종료를 선택하는 오케스트레이터를 구현한다.
• 사용 가능한 진짜 레이블이 있을 경우 지도 학습을, 아닐 경우 마지막 종료에서 생성한 가짜 레이블을 사용해 준지도 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전학습된 CNN의 조기 종료를 현장에서 최소한의 계산 비용으로 효율적으로 개인화할 수 있는가?
• RQ2 조기 종료를 통한 디바이스 내 개인화는 전체 네트워크 미세조정 대비 정확도, 지연 시간, 훈련 시간 측면에서 어떻게 비교되는가?
• RQ3 레이블이 부족한 상황에서 마지막 종료에서 생성한 가짜 레이블을 활용한 준자기지도 학습이 개인화 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 조기 종료 개인화는 쉬운 샘플에 대해 추론을 가속화하면서도 이상치 입력에 대해서는 높은 정확도를 유지할 수 있는가?
• RQ5 전체 네트워크 적응과 비교했을 때 조기 종료만을 개인화하는 것이 모델의 효율성과 자원 사용에 어떤 영향을 미치는가?

주요 결과

• PersEPhonEE는 레이블이 존재할 경우 원본 글로벌 모델 대비 최대 15.9% 높은 정확도를 달성하며, 개인화된 데이터에서 뛰어난 성능을 보인다.
• 단일 조기 종료의 훈련 시간은 전체 네트워크 미세조정 대비 최대 23배 빠르며, 자원 소비를 최소화하면서 야간에 디바이스 내에서 훈련이 가능하다.
• 조기 종료 덕분에 추론 처리량이 최대 3.2배(부드러운 레이블 사용 시 2.2배) 향상되어 쉬운 입력에 대한 지연 시간을 줄였고, 정확도에 영향을 주지 않았다.
• 전체 모델 대비 최대 3.1배 FLOPs 감소 및 최대 25.1배 파라미터 감소를 기록했으며, 유사한 정확도를 유지했다.
• 이상치 입력은 최종 종료로 라우팅되어 원본 모델의 정확도를 유지하며 강건성을 확보했다.
• 모바일 CPU에서 2048개 샘플로 조기 종료를 디바이스 내에서 훈련하는 데 1.7시간이 소요되어 실세계 구현 가능성은 입증되었다.