[논문 리뷰] End-to-End Training Approaches for Discriminative Segmental Models

Hao Tang, Weiran Wang외 2명|arXiv (Cornell University)|2016. 10. 21.

Speech Recognition and Synthesis참고 문헌 8인용 수 3

한 줄 요약

이 논문은 LSTM 기반의 특징 인코더와 선형 세그멘탈 모델을 사용하여 분류적 세그멘탈 모델에 대한 엔드 투 엔드 훈련 방법을 조사한다. 진정한 대응 관계가 없는 경우 마진 로그 손실이 강력한 성능을 내며, 대응 관계가 있는 경우 이차 훈련 후 엔드 투 엔드 미세조정이 가장 좋은 성능을 내는데, 드롭아웃이 일반화에 매우 중요하다.

ABSTRACT

Recent work on discriminative segmental models has shown that they can achieve competitive speech recognition performance, using features based on deep neural frame classifiers. However, segmental models can be more challenging to train than standard frame-based approaches. While some segmental models have been successfully trained end to end, there is a lack of understanding of their training under different settings and with different losses. We investigate a model class based on recent successful approaches, consisting of a linear model that combines segmental features based on an LSTM frame classifier. Similarly to hybrid HMM-neural network models, segmental models of this class can be trained in two stages (frame classifier training followed by linear segmental model weight training), end to end (joint training of both frame classifier and linear weights), or with end-to-end fine-tuning after two-stage training. We study segmental models trained end to end with hinge loss, log loss, latent hinge loss, and marginal log loss. We consider several losses for the case where training alignments are available as well as where they are not. We find that in general, marginal log loss provides the most consistent strong performance without requiring ground-truth alignments. We also find that training with dropout is very important in obtaining good performance with end-to-end training. Finally, the best results are typically obtained by a combination of two-stage training and fine-tuning.

연구 동기 및 목표

• 말하기 인식에서 분류적 세그멘탈 모델에 대한 엔드 투 엔드 및 이차 훈련 전략을 비교하기 위해.
• 진정한 세그멘테이션 유무에 따라 다양한 훈련 설정에서 허지, 로그, 잠재 허지, 마진 로그 손실과 같은 다양한 손실 함수의 영향을 평가하기 위해.
• 이차 훈련 후 엔드 투 엔드 미세조정이 초기 상태에서 엔드 투 엔드 훈련보다 성능을 향상시키는지 여부를 확인하기 위해.
• 엔드 투 엔드 훈련 중 과적합을 방지하기 위해 드롭아웃의 중요성을 평가하기 위해.
• 수동으로 세그멘테이션하지 않은 이차 훈련을 위해 모델이 생성한 강제 대응 관계의 품질을 평가하기 위해.

제안 방법

• 모델은 MFCC와 같은 음성 입력에서 프레임 수준의 표현을 추출하기 위해 3층의 양방향 LSTM을 특징 인코더로 사용한다.
• 선형 세그멘탈 모델은 이러한 특징을 조합하여 레이블 시퀀스를 예측하며, 세그멘탈 가중치는 미분 가능한 손실 함수를 통해 최적화된다.
• 엔드 투 엔드 훈련은 전체 탐색 공간을 거쳐 역전파를 사용하여 LSTM 및 세그멘탈 모델 파라미터를 동시에 최적화한다.
• 이차 훈련은 먼저 프레임 수준의 레이블(예: 강제 대응 관계)을 사용해 LSTM을 훈련한 후, 고정된 특징을 사용해 세그멘탈 모델을 훈련한다.
• 이차 훈련 후 엔드 투 엔드 미세조정은 동일한 손실 함수를 사용하여 성능 향상을 위해 적용된다.
• 각 손실 함수(허지, 로그, 잠재 허지, 마진 로그 손실)의 그래디언트 계산은 탐색 공간을 거쳐가는 전진-역전파 단계를 포함하며, 필요에 따라 세그멘테이션 공간을 추가한다.

실험 결과

연구 질문

• RQ1 진정한 세그멘테이션이 없는 경우, 마진 로그 손실을 사용한 엔드 투 엔드 훈련이 다른 손실 함수보다 성능이 뛰어나나?
• RQ2 진정한 세그멘테이션이 있는 경우, 이차 훈련 후 엔드 투 엔드 미세조정과 초기 상태에서 엔드 투 엔드 훈련의 성능를 비교하면 어떻게 되나?
• RQ3 엔드 투 엔드 세그멘탈 모델 훈련에서 드롭아웃이 일반화에 미치는 영향은 무엇인가?
• RQ4 마진 로그 손실로 훈련한 모델이 높은 품질의 강제 대응 관계를 생성할 수 있는가? 이는 수동 세그멘테이션 없이 효과적인 이차 훈련을 가능하게 하는가?
• RQ5 다양한 손실 함수의 계산 비용은 그래디언트 계산 시간 측면에서 어떻게 비교되는가?

주요 결과

• 진정한 세그멘테이션이 없는 설정에서 마진 로그 손실을 사용한 엔드 투 엔드 훈련이 가장 뛰어난 성능을 보였으며, 테스트 세트에서 20.1%의 페인트 오류율을 기록했다.
• 진정한 세그멘테이션이 있는 경우, 로그 손실을 사용한 이차 훈련 후 엔드 투 엔드 미세조정이 가장 좋은 결과를 냈으며, 개발 세트에서 18.6%의 페인트 오류율을 달성했다.
• 마진 로그 손실로 훈련한 시스템은 높은 품질의 강제 대응 관계를 생성했으며, 96.7%의 페인트 경계가 40ms 이내 정확하게 위치했다.
• 드롭아웃을 사용한 훈련은 일반화를 크게 향상시켰으며, 특히 엔드 투 엔드 설정에서 매우 중요했으며 강력한 성능을 달성하는 데 필수적이었다.
• 진정한 대응 관계가 있는 경우, 이차 훈련 후 엔드 투 엔드 미세조정은 이차 훈련만 수행한 것보다 10% 상대적 성능 향상을 이뤘다.
• 마진 로그 손실은 가장 많은 계산을 요구했으며(모델 외부의 그래디언트 계산에 2.10시간 소요), 이는 탐색 공간을 두 번, 세그멘테이션 공간을 두 번 순회해야 하기 때문이다.