[논문 리뷰] An Investigation of Few-Shot Learning in Spoken Term Classification

Yangbin Chen, Tom Ko외 4명|arXiv (Cornell University)|2018. 12. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 9

한 줄 요약

이 논문은 소수의 샘플로도 일반화 능력을 향상시키기 위해 새로운(N) 클래스와 고정된(M) 클래스(예: 침묵, 알 수 없음)의 조합을 고려한 확장된 MAML 프레임워크를 제안한다. 메타학습 중에 고정 클래스에 대한 사전 지식을 통합함으로써, 이 방법은 구글 음성 명령 데이터셋에서 10-shot 명령어 분류 작업에서 69.48%의 정확도를 달성하여 기존의 지도학습 및 원본 MAML보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we investigate the feasibility of applying few-shot learning algorithms to a speech task. We formulate a user-defined scenario of spoken term classification as a few-shot learning problem. In most few-shot learning studies, it is assumed that all the N classes are new in a N-way problem. We suggest that this assumption can be relaxed and define a N+M-way problem where N and M are the number of new classes and fixed classes respectively. We propose a modification to the Model-Agnostic Meta-Learning (MAML) algorithm to solve the problem. Experiments on the Google Speech Commands dataset show that our approach outperforms the conventional supervised learning approach and the original MAML.

연구 동기 및 목표

• 소수의 샘플로도 음성 작업, 특히 음성 명령어 분류에 소수의 샘플 학습 기법을 적용할 수 있는지 탐구하는 것.
• 모든 클래스가 새로운 것으로 간주되는 기존 소수의 샘플 학습 기법의 한계를 해결하기 위해, 실제적인 N+M-way, K-shot 문제 설정을 도입하는 것.
• 메타학습 중에 고정 클래스(예: 침묵, 알 수 없음)에 대한 사전 지식을 통합하여 사용자 정의 음성 명령어 분류에서 모델의 일반화 능력을 향상시키는 것.
• 소수의 샘플로 구성된 사용자 정의 시스템이 충분한 학습 데이터가 있는 사전 정의된 시스템의 성능에 얼마나 가까이 다가갈 수 있는지 평가하는 것.

제안 방법

• 사용자가 정의한 N개의 새로운 클래스와 사전에 알려진 M개의 고정 클래스(예: 침묵, 알 수 없음)를 포함하는 N+M-way, K-shot 소수의 샘플 학습 문제로 음성 명령어 분류를 설정한다.
• 모델에 종속적이지 않은 메타학습(MAML) 알고리즘을 수정하여, 공유된 모델 초기화를 사용해 메타학습 중에 새로운 클래스와 고정 클래스를 동시에 최적화한다.
• 1초 길이의 16kHz 음성 클립에서 특징을 추출하기 위해 4개의 잔차 블록(각각 3×3 컨볼루션, ReLU, 배치 정규화를 포함)을 갖는 컨볼루션 신경망(CNN)을 사용한다.
• 입력 표현으로 30ms 프레임 길이와 10ms 프레임 이격을 사용해 40차원의 멜 주파수 해상도 인자 계수(MFCCs)를 추출한다.
• 메타학습 루프를 사용해 모델을 훈련한다: 작업 분포에서 작업을 샘플링하고, 지원 세트에서 한 스텝의 기울기 업데이트를 수행한 후, 쿼리 세트 손실을 사용해 초기 파라미터를 최적화한다.
• 메타업데이트 중에 새로운 클래스와 고정 클래스의 예측을 모두 포함하는 수정된 MAML 손실을 적용하여, 새로운 키워드에 신속히 적응하면서도 고정 클래스의 지식을 유지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 메타학습 기반의 소수의 샘플 학습이 저자원 음성 작업인 음성 명령어 분류에 효과적으로 적용될 수 있는가?
• RQ2 메타학습 중에 고정 클래스(예: 침묵, 알 수 없음)를 포함시키는 것이 소수의 샘플 음성 명령어 분류 성능에 어떤 영향을 미치는가?
• RQ3 소수의 샘플로 구성된 사용자 정의 음성 명령어 분류 시스템이 충분한 학습 데이터가 있는 사전 정의된 시스템의 성능에 얼마나 가까이 다가갈 수 있는가?
• RQ4 제안된 확장된 MAML 프레임워크가 소수의 샘플 환경에서 기존의 지도학습 미세조정 및 표준 MAML보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 확장된 MAML 접근법은 10-shot 명령어 분류에서 69.48%의 정확도를 달성하여 원본 MAML(57.34%)과 지도학습(25.60%)보다 뚜렷이 뛰어난 성능을 보였다.
• 10-shot 숫자 분류 작업에서는 확장된 MAML가 69.48%의 정확도를 기록했으며, 원본 MAML는 65.18%, 지도학습은 28.07%였다.
• 소수의 샘플 시스템과 사전 정의된 시스템(클래스당 약 3000개의 예제) 간의 성능 격차는 여전히 크며, 소수의 샘플 시스템은 78.48%의 정확도를 기록한 반면 사전 정의된 시스템은 91%의 정확도를 기록했다.
• 메타학습 중에 고정 클래스(침묵, 알 수 없음)를 사용한 모델은 모든 클래스를 새로운 것으로 간주하는 모델보다 더 우수한 일반화 능력을 보였으며, 사전 지식의 이점이 입증되었다.
• 원본 MAML보다의 성능 향상은 고정 클래스 지식의 사용 덕분이며, 이는 메타최적화를 안정화시키고 새로운 키워드에 대한 적응 능력을 향상시킨다.
• 명령어 분류 성능은 숫자 분류 성능보다 일관되게 낮았으며, 이는 키워드의 복잡성과 음소 다양성이 소수의 샘플 학습 성능에 영향을 준다는 것을 시사한다.