[논문 리뷰] TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning

Han Cai, Chuang Gan외 2명|arXiv (Cornell University)|2020. 07. 22.

Advanced Neural Network Applications참고 문헌 61인용 수 33

한 줄 요약

TinyTL은 특징 추출기 가중치를 고정하고 편향만 학습하며, 특징을 다듬기 위해 가벼운 잔차 모듈(lite residual modules)을 보강하여, 전체 파인튜닝과 비교해 비슷하거나 더 나은 정확도를 유지하면서 메모리 절감이 크게 나타납니다(최대 12.9×).

ABSTRACT

On-device learning enables edge devices to continually adapt the AI models to new data, which requires a small memory footprint to fit the tight memory constraint of edge devices. Existing work solves this problem by reducing the number of trainable parameters. However, this doesn't directly translate to memory saving since the major bottleneck is the activations, not parameters. In this work, we present Tiny-Transfer-Learning (TinyTL) for memory-efficient on-device learning. TinyTL freezes the weights while only learns the bias modules, thus no need to store the intermediate activations. To maintain the adaptation capacity, we introduce a new memory-efficient bias module, the lite residual module, to refine the feature extractor by learning small residual feature maps adding only 3.8% memory overhead. Extensive experiments show that TinyTL significantly saves the memory (up to 6.5x) with little accuracy loss compared to fine-tuning the full network. Compared to fine-tuning the last layer, TinyTL provides significant accuracy improvements (up to 34.1%) with little memory overhead. Furthermore, combined with feature extractor adaptation, TinyTL provides 7.3-12.9x memory saving without sacrificing accuracy compared to fine-tuning the full Inception-V3.

연구 동기 및 목표

• 메모리 제약이 있는 엣지 디바이스의 메모리 및 에너지 예산으로 인한 메모리 효율적인 온-디바이스 학습의 동기 부여.
• 훈련 가능한 매개변수보다 활성화가 훈련 메모리의 병목이라는 식별.
• 가중치를 고정하고 편향을 학습하되 라이트 잔차 모듈로 적응 능력을 유지하는 TinyTL 제안.
• 특징 추출기 적응을 포함한 다수의 데이터셋과 백본에서의 메모리-정확도 트레이드오프 평가

제안 방법

• 역전파 메모리를 분석하여 활성화가 가중치보다 지배적임을 보여준다.
• 특징 추출기 가중치를 고정하고 편향만 학습하여 활성화 저장을 줄인다.
• 중간 특징을 정교하게 다듬기 위해 소량의 메모리 오버헤드(~3.8%)로 라이트 잔차 모듈을 도입한다.
• lite residual의 활성화 크기를 최소화하기 위해 그룹 컨볼루션 및 제어된 해상도/너비를 사용한다.
• 소형 배치 온-디바이스 학습 호환성을 위해 BN을 GN으로 대체한다.
• Once-For-All 네트워크를 통해 작업 특화 백본을 선택하는 특징 추출기 적응을 포함한다.

실험 결과

연구 질문

• RQ1 가중치를 고정하고 편향만 학습하는 것이 큰 정확도 손실 없이 온-디바이스 학습 메모리를 상당히 줄일 수 있는가?
• RQ2 라이트 잔차 모듈이 다채로운 데이터셋에서 고정된 가중치를 보상할 만큼의 용량을 제공하는가?
• RQ3 다수의 백본에서 특징 추출기 적응 여부에 따라 TinyTL의 성능은 어떻게 달라지는가?
• RQ4 TinyTL을 다양한 입력 해상도와 배치 크기에 적용했을 때 메모리-정확도 트레이드오프는 무엇인가?

주요 결과

• 전체 네트워크를 완전 파인튜닝하는 것에 비해 메모리 발자국이 최대 12.9× 감소한다.
• 라이트 잔차를 갖춘 TinyTL 변형(L+B)은 편향 전용 또는 정규화 전용 파인튜닝 기반선보다 정확도에서 우수하다.
• 입력 해상도가 높아질수록(320) TinyTL-L+B는 전체 파인튜닝 정확도에 근접하면서 약 6×의 메모리 절감을 달성한다.
• 특징 추출기 적응(Once-For-All)과 결합하면 TinyTL은 Inception-V3에 대해 파인튜닝과 비슷한 정확도에서 7.5–12.9×의 메모리 절감을 달성한다.
• 배치 크기 1로 훈련하면 메모리가 약 16MB로 더 감소하여 SRAM 기반 학습이 가능하다.
• 가볍고 빠른 적응 능력을 유지하기 위해서는 편향 전용 접근법보다 라이트 잔차 모듈이 필수적이다.