[논문 리뷰] Effects of Layer Freezing on Transferring a Speech Recognition System to Under-resourced Languages

Onno Eberhard, Torsten Zesch|arXiv (Cornell University)|2021. 02. 08.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 저자원 언어를 위한 음성 인식(ASR)에서 전이 학습 시 계층 고정의 영향을 조사한다. Mozilla의 DeepSpeech 아키텍처를 사용하여 사전 훈련된 영어 모델을 독일어와 스위스 독일어로 전이한다. 첫 번째 1~3개의 계층을 고정하면 모든 계층을 미세조정하는 것보다 단어 오류율(WER)을 크게 향상시키며, 3개 이상 고정할 경우 성능 향상이 거의 없어지며, 이는 관련 언어 간에 일반화 가능한 특징을 조기에 학습한다는 것을 보여준다.

ABSTRACT

In this paper, we investigate the effect of layer freezing on the effectiveness of model transfer in the area of automatic speech recognition. We experiment with Mozilla's DeepSpeech architecture on German and Swiss German speech datasets and compare the results of either training from scratch vs. transferring a pre-trained model. We compare different layer freezing schemes and find that even freezing only one layer already significantly improves results.

연구 동기 및 목표

• 저자원 언어의 ASR에서 계층 고정이 전이 학습 효과에 미치는 영향을 평가하기 위해.
• 사전 훈련된 영어 DeepSpeech 모델을 독일어와 스위스 독일어에 적응시킬 때 최적의 계층 고정 전략을 규명하기 위해.
• 심층 네트워크의 계층적 특징 학습이 미세조정 시 초기 계층을 고정하는 데에 기여하는지 평가하기 위해.
• 제한된 자원을 가진 데이터셋에서 WER 및 CER 측면에서 다양한 고정 전략 간의 성능을 비교하기 위해.

제안 방법

• 전이 학습을 사용하여 독일어 및 스위스 독일어 데이터셋에 사전 훈련된 영어 DeepSpeech 모델을 미세조정한다.
• 0, 1, 2, 3, 4, 5 또는 1–5개의 계층을 고정하는 다양한 계층 고정 전략을 적용한다 (최종 출력 계층은 제외).
• 6개의 계층을 가진 DeepSpeech 아키텍처를 사용한다: 3개의 완전 연결(FC) 계층, 1개의 LSTM, 그리고 ReLU 및 소프트맥스 활성화 함수를 가진 2개의 최종 FC 계층.
• 시퀀스 간 정렬을 위해 Adam 옵timizer와 Connectionist Temporal Classification(CTC) 손실 함수를 사용하여 모델을 최적화한다.
• 보류된 테스트 세트에서 WER 및 CER를 사용하여 결과를 평가하며, 혼합 텍스트 코퍼스에서 훈련된 KenLM 언어 모델을 활용한다.
• 수렴성과 일반화 능력을 평가하기 위해 학습 곡선과 에포크별 메트릭을 사용하여 훈련 및 검증을 수행한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 영어 모델을 독일어 및 스위스 독일어로 전이할 때, 다양한 수의 계층을 고정하면 ASR 성능에 어떤 영향을 미치는가?
• RQ2 낮은 수준의 특징을 학습하는 초기 계층을 고정하는 것이 모든 계층을 미세조정하거나 후속 계층을 고정하는 것보다 더 좋은 성능을 내는가?
• RQ3 저자원 음성 인식 작업에서 WER 및 CER를 최소화하기 위해 최적의 계층 수를 고정해야 하는가?
• RQ4 다양한 고정 구성 간의 학습 곡선과 검증 손실은 어떻게 비교되는가?
• RQ5 더 많은 계층을 고정하면 성능 향상의 감소 또는 성능 저하가 발생하는가?

주요 결과

• 첫 번째 1~3개의 계층을 고정하면 가장 우수한 성능을 보이며, 독일어의 WER를 기준선 70%에서 44%로 감소시키고, 스위스 독일어의 WER를 74%에서 67%로 감소시킨다.
• 계층 1–2를 고정한 모델이 독일어에서 가장 낮은 WER(44%)와 CER(0.22)를 기록하며, 다른 모든 고정 전략보다 뛰어난 성능을 보였다.
• 3개 이상의 계층을 고정하면 (예: 1–5) 성능 향상이 미미하거나 없으며, 일부 경우에서 약간의 성능 저하가 관찰되어 수익 감소 현상을 보였다.
• 4개 또는 5개의 계층을 고정한 모델도 강력한 성능을 기록하여, 영어 사전 훈련 모델의 특징이 관련 언어 간에 일반화 가능하다는 것을 시사한다.
• 학습 곡선은 초기 계층을 고정할 경우 빠른 수렴과 낮은 검증 손실을 보이며, 1–3개와 1–5개 고정 간의 차이는 미미하다.
• LSTM 계층(계층 4)이나 최종 FC 계층(계층 5)을 고정해도 성능에 큰 영향을 주지 않아, 이 계층들이 예상보다 언어에 특화되어 있지 않다는 것을 시사한다.