[논문 리뷰] Continual Learning For On-Device Environmental Sound Classification

Xiao Yang, Xubo Liu외 5명|arXiv (Cornell University)|2022. 07. 15.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 환경 음향 분류를 위한 계산적으로 효율적인 재생 기반 지속적 학습 방법인 Uncertainty++을 제안한다. 이 방법은 분류기의 임bedding 계층에 대한 편항을 통해 각 샘플의 분류 불확실성을 측정하여 치명적인 잊음 현상을 감소시킨다. DCASE 2019 및 ESC-50에서 평가한 결과, Uncertainty++는 58.1%의 정확도를 달성하였으며, 기준 불확실성 방법 대비 추론 시간을 90% 이상 단축시켜 자원 제약 조건에서 뛰어난 정확도와 효율성을 입증한다.

ABSTRACT

Continuously learning new classes without catastrophic forgetting is a challenging problem for on-device environmental sound classification given the restrictions on computation resources (e.g., model size, running memory). To address this issue, we propose a simple and efficient continual learning method. Our method selects the historical data for the training by measuring the per-sample classification uncertainty. Specifically, we measure the uncertainty by observing how the classification probability of data fluctuates against the parallel perturbations added to the classifier embedding. In this way, the computation cost can be significantly reduced compared with adding perturbation to the raw data. Experimental results on the DCASE 2019 Task 1 and ESC-50 dataset show that our proposed method outperforms baseline continual learning methods on classification accuracy and computational efficiency, indicating our method can efficiently and incrementally learn new classes without the catastrophic forgetting problem for on-device environmental sound classification.

연구 동기 및 목표

• 제한된 메모리와 계산 자원으로 인해 발생하는 온디바이스 환경 음향 분류에서의 치명적인 잊음 현상에 대응한다.
• 높은 계산 비용 없이도 유의미한 이전 샘플을 효율적으로 선택하여 재생하기 위한 메모리 업데이트 알고리즘(MUA)을 개발한다.
• 모든 과거 데이터를 재학습하지 않고도 새로운 음향 클래스를 점진적으로 학습해야 하는 지속적 학습 환경에서 분류 정확도와 계산 효율성을 향상시킨다.
• 크기와 메모리 제약 조건이 엄격한 모바일 및 임베디드 플랫폼에 적합한 모델에 종속되지 않는 방법을 설계한다.
• 원시 음성 신호가 아닌 임베딩 계층에 기반한 불확실성 기반 샘플링이 계산 오버헤드를 줄이는 데 기여함을 입증한다.

제안 방법

• 기존의 원시 음성 입력 대신 분류기의 임베딩 계층에 편항을 적용하여 각 샘플의 분류 불확실성을 측정하는 새로운 메모리 업데이트 알고리즘(MUA)인 Uncertainty++을 제안한다.
• 예측된 클래스 확률의 변동성을 통해 불확실성을 추정하기 위해 임베딩 계층에 Audio Shift, Audio PitchShift, Audio Colored Noise 등의 다양한 편항 유형을 적용한다.
• 불확실도 점수를 기반으로 이전 샘플을 재생 대상으로 선별하며, 분류가 어려운 또는 모호한 샘플을 우선순위로 삼아 이전에 학습한 클래스의 지식을 유지한다.
• 점진적 학습 과정에서 선택된 재생 샘플을 학습 프로세스에 통합하여 치명적인 잊음 현상을 최소화하면서도 낮은 계산 오버헤드를 유지한다.
• 임베딩 기반으로 불확실성 추정을 미분 가능한 방식으로 공식화하여 추론 시간과 메모리 사용에 미치는 영향을 최소화한다.
• BC-ResNet-Mod(~86k 파라미터)와 같은 작은 온디바이스 모델과도 호환되는 경량이고 모델에 종속되지 않는 프레임워크를 구현하여 실시간 배포에 적합하게 한다.

실험 결과

연구 질문

• RQ1 분류기의 임베딩 계층에 기반한 불확실성 기반 샘플링이 온디바이스 환경 음향 분류에서 치명적인 잊음 현상을 효과적으로 감소시킬 수 있는가?
• RQ2 원시 음성 특징에 비해 임베딩에 적용했을 때 불확실성 추정의 계산 비용은 어떻게 비교되는가?
• RQ3 Random, Reservoir, Prototype, Uncertainty와 같은 기존 MUA 방법들에 비해 Uncertainty++는 분류 정확도와 추론 효율성 측면에서 뛰어나다고 할 수 있는가?
• RQ4 편항 유형의 수를 변화시켰을 때 불확실성 추정 과정의 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ5 제한된 온디바이스 자원 조건에서 이론적 학습 시간과 메모리 사용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• Uncertainty++는 ESC-50 데이터셋에서 58.1%의 분류 정확도를 달성하여 최고의 기준 모델(Uncertainty)과 모든 다른 MUA 방법을 능가한다.
• 6종의 편항 유형을 사용하더라도 태스크당 평균 학습 시간이 60초 이내로 단축되어, 기준 모델인 Uncertainty 대비 90% 이상의 감소를 기록한다.
• 두 가지 편항 방법만으로도 이미 Uncertainty 방법의 성능을 초월하여 뛰어난 샘플 효율성을 보여준다.
• Uncertainty++의 BWT(백워드 전이) 점수는 기준 방법들보다 유의미하게 낮아 치명적인 잊음 현상이 감소했음을 확인한다.
• 불확실성 추정의 평균 추론 시간이 기준 모델인 Uncertainty 대비 90% 이상 감소하여 온디바이스 배포에 매우 적합하다.
• 이 방법은 다양한 데이터셋에 대해 강건하며, DCASE 2019 Task 1과 ESC-50 모두에서 일관된 성능 향상을 보여, 다양한 환경 음향 분류 작업으로의 일반화 능력을 입증한다.