[논문 리뷰] Continual Learning in the Frequency Domain

Ruiqi Liu, Boyu Diao외 4명|arXiv (Cornell University)|2024. 10. 09.

Seismology and Earthquake Studies인용 수 5

한 줄 요약

CLFD는 웨이블릿 기반 주파수 영역 인코딩과 클래스 인식 특징 선택을 통해 리허설 기반 지속 학습을 개선하고, 정확도를 높이며 엣지 디바이스에서의 학습 효율성을 대폭 향상시킵니다.

ABSTRACT

Continual learning (CL) is designed to learn new tasks while preserving existing knowledge. Replaying samples from earlier tasks has proven to be an effective method to mitigate the forgetting of previously acquired knowledge. However, the current research on the training efficiency of rehearsal-based methods is insufficient, which limits the practical application of CL systems in resource-limited scenarios. The human visual system (HVS) exhibits varying sensitivities to different frequency components, enabling the efficient elimination of visually redundant information. Inspired by HVS, we propose a novel framework called Continual Learning in the Frequency Domain (CLFD). To our knowledge, this is the first study to utilize frequency domain features to enhance the performance and efficiency of CL training on edge devices. For the input features of the feature extractor, CLFD employs wavelet transform to map the original input image into the frequency domain, thereby effectively reducing the size of input feature maps. Regarding the output features of the feature extractor, CLFD selectively utilizes output features for distinct classes for classification, thereby balancing the reusability and interference of output features based on the frequency domain similarity of the classes across various tasks. Optimizing only the input and output features of the feature extractor allows for seamless integration of CLFD with various rehearsal-based methods. Extensive experiments conducted in both cloud and edge environments demonstrate that CLFD consistently improves the performance of state-of-the-art (SOTA) methods in both precision and training efficiency. Specifically, CLFD can increase the accuracy of the SOTA CL method by up to 6.83% and reduce the training time by 2.6$ imes$.

연구 동기 및 목표

• 제약된 자원 환경에서 CL을 촉진하고 망각 문제와 함께 학습 효율성을 다루는 것.
• 주파수 영역 프레임워크를 제안하여 입력을 압축하고 태스크 간 특징 재사용을 관리하는 것.
• 입력/출력 특징만 최적화함으로써 기존의 리허설 기반 CL 방법과의 매끄러운 통합을 가능하게 하는 것.
• 데이터 증강을 촉진하고 메모리 footprint를 줄여 더 많은 샘플을 저장하고 재생할 수 있게 하는 것.

제안 방법

• 주파수 영역으로 입력 이미지를 변환하기 위해 Frequency Domain Feature Encoder(FFE)에서 Discrete Wavelet Transform(DWT)을 사용하여 입력 이미지를 주파수 영역으로 변환한다.
• 고정된 버퍼 내에서 더 많은 재생 샘플을 가능하게 하도록 입력 피처 맵을 압축하여 FLOPs와 메모리를 줄인다.
• 클래스 인식 주파수 영역 특징 선택(CFFS)을 적용하여 주파수 영역 유사도를 통해 클래스 간 특징 재사용과 간섭의 균형을 맞춘다.
• 저주파 성분을 사용하여 클래스별 주파수 영역 특징 유사도를 계산하고 분류를 위한 선택된/상위 마스크된 특징들을 선정한다.
• 교차 작업 학습 가능한 매개변수를 도입하지 않고도 주파수 드롭아웃(Frequency Dropout)과 시맨틱 드롭아웃(Semantic Dropout)을 사용하여 작업 간 특징 선택을 적응시킨다.
• 핵심 리허설 메커니즘을 그대로 두고 입력 및 출력 특징 처리만 수정함으로써 CLFD를 기존의 리허설 기반 CL 방법들과 통합한다.

실험 결과

연구 질문

• RQ1 주파수 영역 표현이 입력 크기를 줄이고 지속 학습에 정보를 어떻게 보존할 수 있는가?
• RQ2 클래스 인식 주파수 영역 특징 선택이 작업 간 간섭과 망각을 줄일 수 있는가?
• RQ3 엣지 디바이스에서 표준 리허설 기반 CL 방법과 CLFD를 페어링할 때의 효율성 증가(시간, 메모리, FLOPs)는 어느 정도인가?
• RQ4 CLFD가 표준 벤치마크에서 최신의 리허설 기반 CL 방법에 비해 정확도를 유지하거나 향상시키는가?

주요 결과

• CLFD는 최신의 리허설 기반 CL 방법의 정확도를 최대 6.83%까지 향상시킬 수 있다.
• 엣지 디바이스에서 CLFD는 최대 2.6x의 학습 속도 개선과 벤치마크 전반에 걸쳐 최대 3.0x의 피크 메모리 감소를 달성한다.
• DWT를 사용하면 공간 정보와 주파수 정보를 모두 보존하여 효과적인 데이터 증강 및 입력 압축이 가능하다.
• 클래스 인식 주파수 영역 특징 선택은 작업 간 간섭을 줄이고 의미적으로 유사한 클래스 간 특징을 정렬한다.
• 여러 베이스라인(ER, DER++, ER-ACE, CLS-ER)과 CLFD를 통합하면 데이터셋 전반에서 일관된 정확도 향상과 메모리 감소를 얻는다.