[논문 리뷰] Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device

Zhouyuan Huo, Dongseong Hwang외 6명|arXiv (Cornell University)|2021. 10. 01.

Speech Recognition and Synthesis참고 문헌 20인용 수 4

한 줄 요약

이 논문은 기기 내에서 효율적인 음성 도메인 적응을 위한 점진적 계층별 자기지도 학습 알고리즘을 제안한다. 학습 메모리 소비를 크게 줄이기 위해 한 번에 하나의 인코더 계층만 업데이트한다. 종속된 기본 모델 대비 24.2%의 상대적 WER 향상을 달성하면서도, 엔드 투 엔드 자기지도 학습보다 89.7% 적은 메모리를 사용한다.

ABSTRACT

Streaming end-to-end speech recognition models have been widely applied to mobile devices and show significant improvement in efficiency. These models are typically trained on the server using transcribed speech data. However, the server data distribution can be very different from the data distribution on user devices, which could affect the model performance. There are two main challenges for on device training, limited reliable labels and limited training memory. While self-supervised learning algorithms can mitigate the mismatch between domains using unlabeled data, they are not applicable on mobile devices directly because of the memory constraint. In this paper, we propose an incremental layer-wise self-supervised learning algorithm for efficient speech domain adaptation on mobile devices, in which only one layer is updated at a time. Extensive experimental results demonstrate that the proposed algorithm obtains a Word Error Rate (WER) on the target domain $24.2\%$ better than supervised baseline and costs $89.7\%$ less training memory than the end-to-end self-supervised learning algorithm.

연구 동기 및 목표

• 모바일 음성 인식에서 서버에서 컷팅한 데이터와 기기 내 음성 데이터 사이의 도메인 이탈 문제를 해결한다.
• 기기 내 메모리 제약과 훈련을 위한 신뢰할 수 있는 레이블 부족 문제를 해결한다.
• 기기 내에서 점진적 계층별 업데이트를 사용해 효율적인 자기지도 사전학습을 가능하게 한다.
• 인식 정확도를 훼손하지 않으면서 훈련 메모리 소비를 줄인다.
• 저자원 환경에서 기기 내 도메인 적응을 위한 계층별 자기지도 학습의 효과성을 입증한다.

제안 방법

• 하나 또는 몇몇 인코더 계층만 한 번에 업데이트하는 하향식 점진적 스케줄을 사용한다.
• 선택된 계층에 자기지도 손실(CPC, Wav2vec2.0, APC)을 부착하며, 고정된 하위 계층의 기울기 계산을 피한다.
• 입력 시퀀스를 잘라 메모리 사용을 통제한다. 자기지도 손실은 입력과 레이블 간의 정렬이 필요하지 않기 때문이다.
• 하위 계층을 먼저 더 많은 스텝으로 사전학습한 후 점진적으로 상위 계층을 사전학습함으로써 계층적 표현 학습을 보장한다.
• 대비 예측 및 음성 샘플링을 사용한 대비 예측 학습(CPC)을 적용해 강력한 표현 학습을 달성한다.
• 전방향 전파 후 고정된 계층의 활성화를 제거하여 메모리 프로파일을 최소화한다.

실험 결과

연구 질문

• RQ1 점진적 계층별 자기지도 학습이 기기 내 훈련 메모리 소비를 줄이면서도 인식 성능을 유지할 수 있는가?
• RQ2 계층 간 사전학습 스텝 수 분포가 피니테이닝 성능에 어떤 영향을 미치는가?
• RQ3 동시에 여러 계층을 업데이트하는 것과 한 번에 하나의 계층만 업데이트하는 것의 정확도 및 메모리 사용에 대한 영향은 어떠한가?
• RQ4 입력 시퀀스를 잘라내는 것으로 메모리 소비를 얼마나 줄일 수 있으며, WER에 악영향을 주지 않을까?
• RQ5 CPC 기반 ILW가 게리 레이어와 엔드 투 엔드 자기지도 학습 대비 WER 및 메모리 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 점진적 계층별(ILW) 접근법은 대상 도메인에서 종속된 기본 모델 대비 24.2% 상대적 WER 감소를 달성한다.
• ILW는 엔드 투 엔드 자기지도 학습 대비 훈련 메모리를 89.7% 감소시켜 입력 길이 100일 때 오직 759 MB만을 사용한다.
• 하위 계층에서 더 많은 스텝으로 사전학습을 수행할수록 피니테이닝 단계에서 수렴 속도가 빨라져 전체 효율성이 향상된다.
• 한 번에 1~4개의 계층을 업데이트하는 다양한 수의 계층에 대해 WER가 안정적으로 4.6% 유지되어 강건함을 입증한다.
• 입력 시퀀스를 100 프레임으로 잘라내면(85.4% 감소) WER는 오직 0.1% 증가(4.6%에서 4.7%로)하며, 메모리는 439 MB로 감소한다.
• CPC 기반 ILW는 APC 및 Wav2vec2.0보다 우수하며, 대상 도메인(MF)에서 4.6% WER를 달성한다. APC는 계층 전반에 균일한 손실 적용으로 인해 표현 붕괴 현상에 시달린다.