[논문 리뷰] Few-shot learning with attention-based sequence-to-sequence models

Bertrand Higy, Peter Bell|arXiv (Cornell University)|2018. 11. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 7

한 줄 요약

이 논문은 자원이 적고 어휘가 작은 환경에서 소수의 예시를 사용한 키워드 인식을 위해 주의 기반 순서-순서 모델을 제안한다. 빠른 적응 전략을 사용하여 클래스당 단지 10개의 소수 예시로도 68.8%의 정확도를 달성하며, 재학습보다 뛰어난 성능을 보이며, 접근성 있고 종단 간(end-to-end)의 음성 명령 시스템에 큰 잠재력을 보여준다.

ABSTRACT

End-to-end approaches have recently become popular as a means of simplifying the training and deployment of speech recognition systems. However, they often require large amounts of data to perform well on large vocabulary tasks. With the aim of making end-to-end approaches usable by a broader range of researchers, we explore the potential to use end-to-end methods in small vocabulary contexts where smaller datasets may be used. A significant drawback of small-vocabulary systems is the difficulty of expanding the vocabulary beyond the original training samples -- therefore we also study strategies to extend the vocabulary with only few examples per new class (few-shot learning). Our results show that an attention-based encoder-decoder can be competitive against a strong baseline on a small vocabulary keyword classification task, reaching 97.5% of accuracy on Tensorflow's Speech Commands dataset. It also shows promising results on the few-shot learning problem where a simple strategy achieved 68.8\% of accuracy on new keywords with only 10 examples for each new class. This score goes up to 88.4\% with a larger set of 100 examples.

연구 동기 및 목표

• 작은 어휘의 키워드 인식 작업에 대해 종단 간 주의 기반 순서-순서 모델을 평가하기 위해.
• 소수의 데이터로 새로운 키워드를 학습할 수 있도록 고정된 어휘의 제한을 해결하기 위해.
• 최소한의 데이터로 새로운 클래스에 모델를 적응시키기 위한 재학습과 미세조정 전략을 비교하기 위해.
• 기존의 시스템이 성능을 발휘하기 어려운 자원이 적은 환경에서 종단 간 모델의 성능을 평가하기 위해.
• 시간 왜곡이나 HMM 없이도 임의의 길이의 입력을 처리할 수 있는 순서-순서 모델의 키워드 검색 가능성 탐색하기 위해.

제안 방법

• 원시 음성 신호를 입력으로, 음소 또는 그래프음소 시퀀스를 출력으로 사용하는 주의 기반 인코더-디코더 아키텍처를 사용하여 종단 간 음성 인식을 수행한다.
• Tensorflow Speech Commands 데이터셋에서 얻은 고정 길이의 오디오 클립을 사용하여 교차 엔트로피 손실로 모델을 훈련시킨다.
• 소수의 예시 학습 전략 두 가지를 구현한다: (1) 증강된 새로운 키워드 예시로 다시 학습하는 전략, (2) 초기 학습률을 낮춘 채로 사전 학습된 모델을 새로운 클래스에 대해 미세조정하는 전략.
• 훈련 중 클래스 빈도를 보정하기 위해 새로운 키워드를 최대 3000개까지 오버샘플링을 통해 데이터 증강을 적용한다.
• 훈련 안정성 향상과 입력-출력 시퀀스 간 정렬 개선을 위해 하이브리드 CTC/주의 메커니즘을 사용한다.
• 성능 평가 시 원래의, 알려지지 않은, 그리고 새로운 키워드에 대한 분류 오차를 측정하며, 변동성을 줄이기 위해 10번의 랜덤 실행 평균을 취한다.

실험 결과

연구 질문

• RQ1 강력한 DNN-HMM 기반 베이스라인과 비교해 볼 때, 종단 간 주의 기반 순서-순서 모델이 작은 어휘의 키워드 인식 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 새로운 클래스당 10개 또는 100개의 예시만 있을 때, 단순한 재학습 전략이 소수의 예시 학습에 얼마나 효과적인가?
• RQ3 소수의 예시 학습에서 정확도와 훈련 효율성 측면에서, 빠른 미세조정(적응) 전략이 재학습 전략을 능가하는가?
• RQ4 미세조정을 통해 새로운 클래스에 모델를 적응시킬수록 원래 키워드의 성능은 어떻게 저하되는가?
• RQ5 제한된 데이터에서 소수의 예시 학습 성능에 대해 음소 또는 그래프음소 출력의 선택이 어떤 영향을 미치는가?

주요 결과

• 주의 기반 순서-순서 모델은 원래의 Speech Commands 데이터셋에서 97.5%의 정확도를 달성하여 강력한 DNN-HMM 기반 베이스라인을 능가했다.
• 재학습 전략은 클래스당 10개의 예시로 40.5%의 정확도를 기록했고, 100개의 예시로는 81.5%의 정확도를 기록하여 낮은 데이터 환경에서의 가능성을 입증했다.
• 미세조정(적응) 전략은 클래스당 10개의 예시로 68.8%의 정확도를 기록했고, 100개의 예시로는 88.4%의 정확도를 기록하여 재학습 전략을 크게 능가했으며, 훈련 속도도 훨씬 빠르게 나타났다.
• 적응 과정에서 학습률이 증가할수록 원래 키워드의 성능이 저하되었으며, 과적합이 발생할 경우 정확도가 급격히 떨어지는 경향을 보였다.
• 적응 전략에서 음소 또는 그래프음소 교체 규칙을 사용하더라도 새로운 키워드의 성능이 저하되지 않아, 출력 표현 방식의 선택에 대해 강건함을 입증했다.
• 하이브리드 CTC/주의 메커니즘은 대규모 어휘의 ASR과는 달리 작은 어휘 작업에서 다른 훈련 동역학을 보였으며, 자원이 적은 환경에서의 고유한 행동 양태를 시사했다.