[논문 리뷰] Sequence Prediction with Neural Segmental Models

Hao Tang|arXiv (Cornell University)|2017. 09. 05.

Natural Language Processing Techniques참고 문헌 108인용 수 4

한 줄 요약

이 논문은 높은 순서의 및 신경 세그멘탈 특징을 통합하면서도 효율적인 디코딩을 유지하는 다단계 추론 프레임워크인 판별적 세그멘탈 캐스케이드를 소개한다. 이는 시퀀스 예측 정확도를 향상시킨다. 또한, 정확한 수동 정렬이 필요 없는 마진 로그 손실을 사용한 엔드 투 엔드 훈련을 제안하여, 수동 정렬의 비용이 많이 드는 문제를 해결하고, 세그멘탈 모델을 커넥티스트 타임클래식리피케이션(CTC) 및 HMM과 통합한다.

ABSTRACT

Segments that span contiguous parts of inputs, such as phonemes in speech, named entities in sentences, actions in videos, occur frequently in sequence prediction problems. Segmental models, a class of models that explicitly hypothesizes segments, have allowed the exploration of rich segment features for sequence prediction. However, segmental models suffer from slow decoding, hampering the use of computationally expensive features. In this thesis, we introduce discriminative segmental cascades, a multi-pass inference framework that allows us to improve accuracy by adding higher-order features and neural segmental features while maintaining efficiency. We also show that instead of including more features to obtain better accuracy, segmental cascades can be used to speed up training and decoding. Segmental models, similarly to conventional speech recognizers, are typically trained in multiple stages. In the first stage, a frame classifier is trained with manual alignments, and then in the second stage, segmental models are trained with manual alignments and the out- puts of the frame classifier. However, obtaining manual alignments are time-consuming and expensive. We explore end-to-end training for segmental models with various loss functions, and show how end-to-end training with marginal log loss can eliminate the need for detailed manual alignments. We draw the connections between the marginal log loss and a popular end-to-end training approach called connectionist temporal classification. We present a unifying framework for various end-to-end graph search-based models, such as hidden Markov models, connectionist temporal classification, and segmental models. Finally, we discuss possible extensions of segmental models to large-vocabulary sequence prediction tasks.

연구 동기 및 목표

• 복잡한 특징을 사용할 경우 계산 비용이 많이 드는 특징으로 인해 세그멘탈 모델의 디코딩 효율성이 떨어지는 문제를 해결한다.
• 세그멘탈 모델 훈련 시 시간이 오래 걸리는 수동 정렬에 대한 의존도를 줄인다.
• 높은 순서의 및 신경 특징을 통합함으로써 시퀀스 예측 정확도를 향상시키되, 속도를 희생시키지 않는다.
• HMM, CTC, 세그멘탈 모델을 포함한 다양한 엔드 투 엔드 시퀀스 모델링 접근법을 동일한 프레임워크로 통합한다.
• 세그멘탈 모델을 대용량 어휘 시퀀스 예측 작업에 효과적으로 확장한다.

제안 방법

• 판별적 세그멘탈 캐스케이드 제안: 높은 순서의 및 신경 특징을 반복적으로 사용하여 예측을 개선하는 다단계 추론 기법.
• 세부적인 수동 정렬이 필요 없는 마진 로그 손실을 사용한 엔드 투 엔드 훈련 도입.
• 마진 로그 손실과 커넥티스트 타임클래식리피케이션(CTC) 간 이론적 연결을 확립하여, 특정 조건 하에서 CTC가 제안된 프레임워크의 특수한 경우임을 보여준다.
• HMM, CTC, 세그멘탈 모델을 특수한 경우로 포함하는 그래프 검색 기반의 통합 프레임워크 설계.
• 두 단계 훈련 과정에서 프레임 분류기 출력을 초기 가설로 사용하고, 이후 엔드 투 엔드 학습으로 대체한다.
• 신경망을 활용해 세그멘트 수준의 표현을 모델링하여 세그멘탈 프레임워크 내에서 더 rich한 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 특징을 사용할 경우에도 효율적인 디코딩을 유지하면서 세그멘탈 모델의 정확도를 향상시킬 수 있는가?
• RQ2 마진 로그 손실을 사용한 엔드 투 엔드 훈련이 세그멘탈 모델에서 수동 정렬이 필요 없도록 할 수 있는가?
• RQ3 마진 로그 손실은 기존의 엔드 투 엔드 방법인 CTC와 어떻게 관련이 있는가?
• RQ4 HMM, CTC, 세그멘탈 모델을 동일한 추론 및 훈련 프레임워크로 통합할 수 있는가?
• RQ5 세그멘탈 모델은 대용량 어휘 시퀀스 예측 작업에 효과적으로 확장될 수 있는가?

주요 결과

• 판별적 세그멘탈 캐스케이드는 높은 순서의 및 신경 특징을 통합함으로써 표준 세그멘탈 모델보다 더 높은 정확도를 달성하면서도 디코딩 효율성을 유지한다.
• 마진 로그 손실을 사용한 엔드 투 엔드 훈련은 수동 정렬이 필요 없게 하여 정렬 비용을 크게 줄인다.
• 마진 로그 손실은 이론적으로 CTC와 연결되어 있으며, CTC가 제안된 프레임워크의 특수한 경우임을 보여준다.
• 통합 프레임워크는 HMM, CTC, 세그멘탈 모델을 동일한 그래프 검색 기반의 훈련 및 디코딩 메커니즘으로 성공적으로 통합한다.
• 제안된 방법은 이전에는 복잡성으로 인해 어려웠던 대용량 어휘 시퀀스 예측 작업에 대해 세그멘탈 모델을 효과적으로 적용할 수 있게 한다.
• 성능 향상과 함께 경쟁적인 추론 속도를 유지하여 실생활 응용에 실용적인 가능성을 입증한다.