[논문 리뷰] Tiny Transfer Learning: Towards Memory-Efficient On-Device Learning

Han Cai, Chuang Gan외 2명|arXiv (Cornell University)|2020. 07. 22.

Machine Learning and ELM인용 수 14

한 줄 요약

TinyTL은 메모리 효율적인 디바이스 내 전이 학습 방법으로, 특징 추출기 가중치를 고정하고 오직 편향만 학습함으로써 중간 활성화 저장을 제거합니다. 경량 잔차 모듈과 이산 하위망 선택을 통한 가중치 공유 슈퍼넷을 사용하여, 전체 미세조정 대비 최대 13.3배 낮은 메모리 비용으로 정확도를 유지합니다.

ABSTRACT

We present Tiny-Transfer-Learning (TinyTL), an efficient on-device learning method to adapt pre-trained models to newly collected data on edge devices. Different from conventional transfer learning methods that fine-tune the full network or the last layer, TinyTL freezes the weights of the feature extractor while only learning the biases, thus doesn't require storing the intermediate activations, which is the major memory bottleneck for on-device learning. To maintain the adaptation capacity without updating the weights, TinyTL introduces memory-efficient lite residual modules to refine the feature extractor by learning small residual feature maps in the middle. Besides, instead of using the same feature extractor, TinyTL adapts the architecture of the feature extractor to fit different target datasets while fixing the weights: TinyTL pre-trains a large super-net that contains many weight-shared sub-nets that can individually operate; different target dataset selects the sub-net that best match the dataset. This backpropagation-free discrete sub-net selection incurs no memory overhead. Extensive experiments show that TinyTL can reduce the training memory cost by order of magnitude (up to 13.3x) without sacrificing accuracy compared to fine-tuning the full network.

연구 동기 및 목표

• 디바이스 내 미세조정의 높은 메모리 비용, 특히 중간 활성화 저장으로 인한 문제를 해결한다.
• 자원이 제한된 엣지 디바이스에서 사전 학습된 모델을 새로운 데이터에 효율적으로 적응시키는 것을 가능하게 한다.
• 디바이스 내 학습 중 메모리 프로파일을 극도로 줄이면서도 모델 정확도를 유지한다.
• 특징 추출기의 역전파를 방지하여 메모리 오버헤드를 제거하는 방법을 개발한다.

제안 방법

• 특징 추출기의 모든 합성곱 및 완전 연결 계층 가중치를 고정하고, 오직 편향만 학습시켜 활성화 저장이 필요 없도록 한다.
• 중간 네트워크에 경량 잔차 모듈을 도입하여 작은 잔차 특징 맵을 학습시켜 적응 능력을 유지한다.
• 다양한 가중치 공유 하위망을 갖춘 슈퍼넷을 구성하여 각 하위망이 독립적인 추론이 가능하도록 한다.
• 백프로파게이션을 사용하지 않는 이산적 탐색 기반 메커니즘을 통해 각 타겟 데이터셋에 가장 적합한 하위망을 선택한다.
• 선택된 하위망의 가중치를 고정하고 오직 최종 분류기 헤드의 편향만 미세조정한다.
• 모든 데이터셋에 동일한 사전 학습된 슈퍼넷을 사용하며, 타겟 데이터에 따라 가장 적합한 하위망을 동적으로 선택한다.

실험 결과

연구 질문

• RQ1 전체 네트워크 미세조정을 피하는 것으로 디바이스 내 전이 학습의 메모리 효율성을 크게 향상시킬 수 있는가?
• RQ2 특징 추출기의 가중치를 업데이트하지 않더라도 적응 능력을 어떻게 유지할 수 있는가?
• RQ3 단일 사전 학습된 슈퍼넷이 최소한의 메모리 오버헤드로 다수의 타겟 데이터셋을 지원할 수 있는가?
• RQ4 특징 추출기 가중치를 고정함으로써 메모리 절감과 정확도 간의 상충 관계는 어떻게 되는가?
• RQ5 기울기 기반 적응을 대체할 수 있는 이산적 하위망 선택이 메모리 비용을 유발하지 않는가?

주요 결과

• TinyTL은 전체 네트워크 미세조정 대비 최대 13.3배 낮은 학습 메모리 비용을 기록했으며, 정확도 저하 없이 유지한다.
• 특징 추출기 가중치를 고정하고 오직 편향만 학습시는 것으로 중간 활성화 저장이 필요 없어지며, 이는 주요 메모리 병목 현상이다.
• 경량 잔차 모듈의 사용은 메인 네트워크 가중치 업데이트 없이도 효과적인 적응을 가능하게 한다.
• 백프로파게이션을 사용하지 않는 이산적 하위망 선택 메커니즘은 추가적인 메모리 오버헤드 없이 구현된다.
• 특징 추출기를 고정함에도 불구하고 다양한 데이터셋에서 경쟁적인 정확도를 유지한다.
• 슈퍼넷 아키텍처는 가장 적합한 하위망을 선택함으로써 다양한 타겟 데이터셋에 동적으로 적응할 수 있도록 한다.