[논문 리뷰] Hard Sample Mining for the Improved Retraining of Automatic Speech Recognition

Jiabin Xue, Jiqing Han외 3명|arXiv (Cornell University)|2019. 04. 17.

Music and Audio Processing참고 문헌 23인용 수 6

한 줄 요약

이 논문은 약한 감독을 받는 깊이 있는 다중 예제 학습(DMIL)을 사용하여 엔드 투 엔드 음성 인식(ASR) 시스템의 재학습을 향상시키기 위한 하드 샘플 마이닝 프레임워크를 제안한다. 소량의 수동으로 레이블이 부여된 문장을 활용하여, 주어진 비레이블 전사문에서 오류를 일으키기 쉬운 단어를 주의 기반 및 구분 능력이 뛰어난 DMIL 모델을 통해 식별한다. 이로 인해 Switchboard에서 17.2%의 WER를 달성하였으며, 이는 쉽게 추출된 샘플이나 표준 데이터로 재학습하는 것보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

It is an effective way that improves the performance of the existing Automatic Speech Recognition (ASR) systems by retraining with more and more new training data in the target domain. Recently, Deep Neural Network (DNN) has become a successful model in the ASR field. In the training process of the DNN based methods, a back propagation of error between the transcription and the corresponding annotated text is used to update and optimize the parameters. Thus, the parameters are more influenced by the training samples with a big propagation error than the samples with a small one. In this paper, we define the samples with significant error as the hard samples and try to improve the performance of the ASR system by adding many of them. Unfortunately, the hard samples are sparse in the training data of the target domain, and manually label them is expensive. Therefore, we propose a hard samples mining method based on an enhanced deep multiple instance learning, which can find the hard samples from unlabeled training data by using a small subset of the dataset with manual labeling in the target domain. We applied our method to an End2End ASR task and obtained the best performance.

연구 동기 및 목표

• 완전한 수동 레이블링 없이도 인식 오류가 높은 전사문인 하드 샘플을 식별하고 활용하여 ASR 재학습 성능을 향상시키는 것.
• 비용이 많이 들기 때문에 수동으로 레이블링하기 어려운 타겟 도메인 데이터에서 희소한 하드 샘플 문제를 해결하는 것.
• 단어 수준의 오류 위치를 식별하기 위해 오직 문장 수준의 레이블만을 사용하는 약한 감독 학습 방법을 개발하는 것.
• 주의 메커니즘, 희박성, 게이팅 및 구분 능력 향상 학습을 통해 깊이 있는 다중 예제 학습(DMIL)을 향상시켜 오류 정확도를 높이는 것.
• 실제 ASR 벤치마크에서 이 방법을 검증하고, 쉽게 추출된 샘플이나 무작위 샘플로 재학습하는 것보다 뛰어난 성능을 입증하는 것.

제안 방법

• 타겟 도메인에서 소량의 수동으로 레이블이 부여된 문장을 사용하여, 비레이블 데이터에서 하드 샘플을 식별하는 약한 감독 모델을 학습한다.
• 문장 수준의 레이블을 감독으로 사용하여 주의 기반 깊이 있는 다중 예제 학습(DMIL)을 적용하여 문장 내 오류를 일으키기 쉬운 단어를 탐지한다.
• 정밀도 향상을 위해 세 가지 향상된 DMIL 변형 모델을 도입한다: 희박 주의(Sparse-Attention), 게이팅 희박 주의(Gated Sparse-Attention), 구분 능력 향상 DMIL(Discriminative DMIL).
• 예측 불확실성에 기반한 손실 재가중 전략을 사용하는 구분 능력 향상 학습(DT) 전략을 도입하여 하드 샘플에서의 오류를 최소화하도록 모델을 최적화한다.
• 문장 수준 오류 탐지용 기본 분류기로 TextCNN를 사용하고, 주의 및 게이팅 메커니즘을 활용하여 이를 단어 수준 분류로 확장한다.
• 식별된 하드 샘플을 사용하여 엔드 투 엔드 ASR 시스템을 재학습시켜 타겟 도메인 테스트 세트에서 일반화 성능을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 소량의 수동으로 레이블이 부여된 문장을 사용하여 타겟 도메인 ASR 데이터의 하드 샘플을 효과적으로 식별할 수 있는가?
• RQ2 단어 수준의 레이블 없이 오직 문장 수준의 레이블만을 사용하여 단어 수준의 오류 위치를 어떻게 식별할 수 있는가?
• RQ3 주의, 희박성 및 게이팅 메커니즘을 통해 DMIL를 향상시키면 하드 샘플 탐지 정확도가 향상되는가?
• RQ4 구분 능력 향상 학습이 하드 샘플 마이닝 모델의 성능을 추가로 향상시킬 수 있는가?
• RQ5 식별된 하드 샘플을 사용하여 ASR 시스템을 재학습시키면 타겟 도메인 벤치마크에서 WER에 측정 가능한 향상이 이루어지는가?

주요 결과

• 800시간의 하드 샘플을 사용하여 재학습한 결과, Switchboard 테스트 세트에서 17.2%의 WER를 달성하였으며, 이는 쉽게 추출된 샘플로 재학습한 경우(20.3%)나 표준 데이터로 재학습한 경우(22.31%)보다 뛰어난 성능을 보였다.
• 가장 높은 성능을 보인 모델인 GSADT_3_1(Gated Sparse-Attention + Discriminative Training)는 오류 탐지 문장 수준 정확도가 83.0%로 기준 모델 대비 0.2% 향상되었다.
• 구분 능력 향상 학습(DT)은 특히 게이팅 메커니즘과 조합되었을 때 단어 수준 오류 탐지의 정밀도와 F1 점수를 크게 향상시켰다.
• 게이팅 희박 주의 모델은 표준 주의 및 희박 주의 모델보다 더 잘 핵심 오류 단어를 식별하여 높은 F1 점수와 재현율을 보였다.
• 하드 샘플을 사용한 재학습은 쉽게 추출된 샘플로 재학습한 경우 대비 5.1%의 상대적 WER 감소를 이끌어내어 하드 샘플 마이닝의 효과성을 입증하였다.
• 최소한의 인간 레이블링으로도 전사문 내 오류를 일으키기 쉬운 단어를 성공적으로 국소화하여, ASR의 저자원 도메인 적응에 효과적임을 입증하였다.