[논문 리뷰] Meta Learning for Few-shot Keyword Spotting.

Yangbin Chen, Tom Ko외 4명|arXiv (Cornell University)|2018. 12. 26.

Speech Recognition and Synthesis참고 문헌 9인용 수 8

한 줄 요약

이 논문은 새로운 클래스와 고정 클래스를 구분하는 N+M-way 분류 설정을 도입하여 소수의 샘플로 키워드 검색에 적용 가능한 수정된 모델에 종속되지 않는 메타학습(MAML) 방법을 제안한다. 구글 음성 명령어 데이터셋에서의 실험 결과, 기존의 지도 학습 및 표준 MAML보다 더 뛰어난 성능을 기록하였다.

ABSTRACT

In this paper, we investigate the feasibility of applying few-shot learning algorithms to a speech task. We formulate a user-defined scenario of spoken term classification as a few-shot learning problem. In most few-shot learning studies, it is assumed that all the N classes are new in a N-way problem. We suggest that this assumption can be relaxed and define a N+M-way problem where N and M are the number of new classes and fixed classes respectively. We propose a modification to the Model-Agnostic Meta-Learning (MAML) algorithm to solve the problem. Experiments on the Google Speech Commands dataset show that our approach outperforms the conventional supervised learning approach and the original MAML.

연구 동기 및 목표

• 소수의 샘플로 음성 작업에 소수의 학습을 적용할 수 있는지의 타당성을 조사한다. 특히 키워드 검색에 초점을 맞춘다.
• 모든 N개의 클래스가 새로운 것으로 간주되는 표준 소수의 학습 가정을 완화하기 위해, 고정 클래스와 새로운 클래스를 포함하는 하이브리드 N+M-way 설정을 도입한다.
• 새로운 클래스와 이전에 본 적이 있는 클래스를 모두 처리할 수 있도록 MAML를 수정하여 소수의 학습된 단어 분류 성능을 향상시킨다.
• 메타학습을 통해 고정 클래스를 포함하면, 자원이 제한된 키워드 인식에서 더 나은 일반화 능력과 더 빠른 적응 능력을 확보할 수 있음을 입증한다.

제안 방법

• 키워드 검색 작업을 N+M-way 소수의 학습 문제로 재정의하며, 여기서 N개의 클래스는 새로운 것이고 M개의 클래스는 고정된(이전에 본) 것이다.
• 메타학습 중에 새로운 클래스와 고정 클래스 양쪽 모두를 동시에 최적화할 수 있도록 MAML 알고리즘을 수정한다.
• 지원 세트와 쿼리 세트를 사용한 에피소드 기반 학습을 적용하며, 지원 세트에는 새로운 클래스와 고정 클래스의 샘플이 모두 포함된다.
• 소수의 예시로 새로운 클래스에 신속히 적응할 수 있도록 모델을 훈련하면서도 고정 클래스의 성능는 유지한다.
• 에피소드 간에 새로운 클래스와 고정 클래스 양쪽의 손실를 최소화할 수 있도록 모델 파라미터를 업데이트하는 메타최적화 과정을 적용한다.
• 특징 추출을 위해 신경망 기반 백본(예: CNN 또는 RNN)을 사용하며, 빠른 적응을 위해 MAML를 통해 미세조정한다.

실험 결과

연구 질문

• RQ1 자원이 제한된 환경에서 소수의 학습을 말하기 작업, 특히 키워드 검색에 효과적으로 적용할 수 있는가?
• RQ2 새로운 클래스(N)와 함께 고정 클래스(M)를 도입함으로써 키워드 검색에서 소수의 학습 적응 능력이 어떻게 향상되는가?
• RQ3 새로운 클래스와 고정 클래스를 모두 고려하는 수정된 MAML 접근 방식이 표준 MAML 및 지도 학습보다 성능이 뛰어나지 않는가?
• RQ4 혼합 클래스 시나리오에서 메타학습을 적용할 경우 모델의 일반화 능력과 추론 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 N+M-way 메타학습 접근 방식은 소수의 샘플로 키워드 검색에서 기존의 지도 학습보다 더 높은 정확도를 달성한다.
• 제안된 수정된 MAML는 구글 음성 명령어 데이터셋에서 표준 MAML 알고리즘보다 성능이 뛰어나다.
• 메타학습된 초기화 덕분에 소수의 지원 예시로도 새로운 키워드에 더 빠르게 적응하는 것을 입증하였다.
• 메타학습 중에 고정 클래스를 포함시킴으로써 희귀하거나 미리 보지 못한 키워드에 대해서도 더 강건하고 일반화 능력이 향상됨을 확인하였다.