[논문 리뷰] TinyTL: Reduce Memory, Not Parameters for Efficient On-Device Learning

Han Cai, Chuang Gan외 2명|arXiv (Cornell University)|2020. 01. 01.

Machine Learning and ELM인용 수 43

한 줄 요약

TinyTL는 중간 활성화값을 저장할 필요 없이 네트워크 가중치를 동결하고 오직 바이어스 모듈만 훈련시켜 메모리 효율적인 디바이스 내 학습 방법을 제안한다. 라이트 리지드류얼 모듈을 도입하여 메모리 오버헤드를 3.8%로 유지함으로써, 전체 네트워크 훈련 대비 최대 6.5배 메모리 절감과 동시에 마지막 레이어 미세조정 대비 최대 33.8%의 정확도 향상을 달성하며, Inception-V3에서 전체 미세조정 수준의 성능을 유지한다.

ABSTRACT

On-device learning enables edge devices to continually adapt the AI models to new data, which requires a small memory footprint to fit the tight memory constraint of edge devices. Existing work solves this problem by reducing the number of trainable parameters. However, this doesn't directly translate to memory saving since the major bottleneck is the activations, not parameters. In this work, we present Tiny-Transfer-Learning (TinyTL) for memory-efficient on-device learning. TinyTL freezes the weights while only learns the bias modules, thus no need to store the intermediate activations. To maintain the adaptation capacity, we introduce a new memory-efficient bias module, the lite residual module, to refine the feature extractor by learning small residual feature maps adding only 3.8% memory overhead. Extensive experiments show that TinyTL significantly saves the memory (up to 6.5x) with little accuracy loss compared to fine-tuning the full network. Compared to fine-tuning the last layer, TinyTL provides significant accuracy improvements (up to 33.8%) with little memory overhead. Furthermore, combined with feature extractor adaptation, TinyTL provides 7.5-12.9x memory saving without sacrificing accuracy compared to fine-tuning the full Inception-V3.

연구 동기 및 목표

• 디바이스 내 지속적 학습에서 활성화값이 메모리 사용을 주도하는 메모리 병목 현상을 해결하기 위해.
• 자원이 제한된 엣지 디바이스에서 모델 적응 능력을 훼손하지 않으면서 메모리 사용을 최소화하기 위해.
• 훈련 가능한 파라미터와 활성화값 저장을 최소화하면서도 높은 정확도를 유지하는 방법을 개발하기 위해.
• 딥 네트워크의 효율적 미세조정을 가능하게 하기 위해 바이어스 학습과 경량 잔차 적응에 초점을 맞춘 방법을 개발하기 위해.

제안 방법

• 모든 네트워크 가중치를 동결하고 오직 바이어스 모듈만 훈련시켜 중간 활성화값을 저장할 필요 없이 처리한다.
• 메모리 오버헤드가 단 3.8%에 불과한 라이트 리지드류얼 모듈을 도입하여 소규모 잔차 특징맵을 학습한다.
• 라인트 리지드류얼 모듈을 활용해 메모리 효율적인 방식으로 특징 추출기의 성능을 향상시킨다.
• 바이어스 전용 훈련과 특징 추출기 적응을 조합하여 모델 성능을 유지한다.
• 역전파를 위한 기울기와 활성화값을 저장하지 않는 파라미터 효율적인 미세조정 전략을 사용한다.
• 기존의 사전 훈련된 모델(예: Inception-V3)과의 호환성을 확보하기 위해 아키텍처 변경 없이 적용 가능하도록 설계한다.

실험 결과

연구 질문

• RQ1 활성화값 저장을 피함으로써 디바이스 내 학습의 메모리 효율성을 크게 향상시킬 수 있는가?
• RQ2 경량 잔차 모듈과 함께 바이어스 모듈만 훈련할 경우, 전체 미세조정 대비 정확도가 유지되거나 향상되는가?
• RQ3 메모리 효율성과 정확도 측면에서 바이어스 전용 훈련은 마지막 레이어 미세조정보다 어떻게 다를까?
• RQ4 바이어스 학습과 특징 추출기 적응의 조합이 높은 메모리 절감과 높은 정확도를 동시에 달성할 수 있는가?
• RQ5 엣지 디바이스에서 파라미터 효율적 적응을 적용할 경우, 메모리 절감과 정확도 손실 사이의 상호 교환 관계는 어떠한가?

주요 결과

• TinyTL은 전체 네트워크 미세조정 대비 최대 6.5배 메모리 절감을 달성하며, 정확도 손실은 최소한이다.
• 마지막 레이어 미세조정 대비 TinyTL은 최대 33.8%의 정확도 향상을 기록하지만, 라이트 리지드류얼 모듈로 인한 메모리 오버헤드는 단 3.8%에 불과하다.
• 특징 추출기 적응과 조합할 경우, TinyTL은 전체 Inception-V3 미세조정 대비 정확도 손실 없이 7.5~12.9배의 메모리 절감을 달성한다.
• 라이트 리지드류얼 모듈은 단 3.8%의 메모리 오버헤드만 추가로 발생시키지만 효과적인 특징 보정을 가능하게 한다.
• 가중치 동결과 바이어스 전용 학습을 통해 활성화값 저장을 제거함으로써 TinyTL은 엣지 디바이스에서 높은 성능을 유지한다.
• 다양한 벤치마크에서 수행된 광범위한 실험을 통해 TinyTL이 높은 메모리 효율성과 정확도를 동시에 확보함을 확인했다.