[논문 리뷰] Sequence Transduction with Recurrent Neural Networks

Alex Graves|arXiv (Cornell University)|2012. 11. 14.

Natural Language Processing Techniques참고 문헌 20인용 수 1,292

한 줄 요약

이 논문은 입력-출력 및 출력-출력 의존성을 동시에 모델링하는 두 개의 순환 신경망(RNN) 기반의 엔드 투 엔드, 미분 가능한 시퀀스 변환 모델을 소개한다. 이는 정렬 기반 학습이 필요 없이 시퀀스 간의 변환을 가능하게 한다. RNN 트랜스듀서는 사전 정의된 정렬이나 외부 언어 모델이 필요 없이 음성 및 언어 정보를 통합함으로써 TIMIT 음소 인식에서 최신 기술 수준(SOTA) 성능을 달성한다(1.0 비트/음소 로그 손실, 23.2% 오차율).

ABSTRACT

Many machine learning tasks can be expressed as the transformation---or \emph{transduction}---of input sequences into output sequences: speech recognition, machine translation, protein secondary structure prediction and text-to-speech to name but a few. One of the key challenges in sequence transduction is learning to represent both the input and output sequences in a way that is invariant to sequential distortions such as shrinking, stretching and translating. Recurrent neural networks (RNNs) are a powerful sequence learning architecture that has proven capable of learning such representations. However RNNs traditionally require a pre-defined alignment between the input and output sequences to perform transduction. This is a severe limitation since \emph{finding} the alignment is the most difficult aspect of many sequence transduction problems. Indeed, even determining the length of the output sequence is often challenging. This paper introduces an end-to-end, probabilistic sequence transduction system, based entirely on RNNs, that is in principle able to transform any input sequence into any finite, discrete output sequence. Experimental results for phoneme recognition are provided on the TIMIT speech corpus.

연구 동기 및 목표

• 시퀀스 변환 작업에서 입력 및 출력 시퀀스 간의 사전 정의된 정렬이 필요한 RNN의 한계를 해결한다.
• 정렬이나 출력 길이에 대한 사전 지식 없이도 가변 길이의 출력 시퀀스를 모델링할 수 있는, 미분 가능한 엔드 투 엔드 시스템을 개발한다.
• 입력 시퀀스 표현과 자동 회귀적 출력 모델링을 통합하여 순차적 왜곡에 대한 강건성을 향상시킨다.
• 음성 인식 및 기계 번역과 같은 작업에서 음성 및 언어 정보를 공동으로 학습시켜 성능을 향상시킨다.
• 음성 인식을 초과하는 일반화 능력을 갖춘 확장 가능한, 미분 가능한 프레임워크를 제공한다.

제안 방법

• 입력 시퀀스를 처리하는 컨텍스트 네트워크와 이전에 생성된 출력을 처리하는 예측 네트워크를 사용하는 시퀀스 변환 시스템을 정의한다.
• 다양한 정렬과 출력 시퀀스의 모든 가능한 조합에 대한 공동 확률 분포를, 미분 가능한 점수 함수를 사용해 구성한다.
• ‘출력 없음’을 나타내는 null 기호(φ)를 포함하는 확장된 출력 공간을 도입하여 정렬 모델링의 유연성을 높인다.
• 목표 시퀀스의 음수 로그 우도를 최적화하는 방식으로, 역전파를 시간에 따라 적용한 확률적 경사 하강법을 사용해 모델을 훈련한다.
• 입력 및 출력 시퀀스를 모두 거쳐 기울기가 흐르도록 하는, 미분 가능한 정렬 메커니즘을 도입하여 엔드 투 엔드 훈련을 가능하게 한다.
• 원시 스펙트로그램에서 직접 입력 특징을 문자 시퀀스로 매핑하는 엔드 투 엔드 음성 인식에 트랜스듀서를 적용한다.

실험 결과

연구 질문

• RQ1 정렬을 사전에 정의할 필요 없이, 미분 가능한 엔드 투 엔드 RNN 기반 모델이 시퀀스를 변환하는 데 성공할 수 있는가?
• RQ2 입력과 출력 의존성의 공동 모델링 접근 방식이 CTC와 같은 기존 방법에 비해 시퀀스 변환 성능을 얼마나 향상시킬 수 있는가?
• RQ3 모델이 음성 및 언어 정보를 얼마나 효과적으로 통합하여 순차적 왜곡에 대한 강건성을 향상시킬 수 있는가?
• RQ4 모델이 텍스트-음성 합성 또는 기계 번역과 같은 가변 길이 출력을 가지는 작업으로 일반화될 수 있는가?
• RQ5 모델의 출력은 입력과 이전 출력에 얼마나 민감한가? 이러한 민감도는 학습된 의존성 구조를 이해하는 데 어떻게 시각화될 수 있는가?

주요 결과

• RNN 트랜스듀서는 TIMIT 음소 인식 작업에서 1.0 비트/음소 로그 손실과 23.2% 오차율을 기록하여 CTC(1.3 비트, 25.5%)와 단독 예측 네트워크(4.0 비트, 72.9%)를 모두 초월한다.
• 모델은 입력 스펙트로그램과 출력 음소 간의 시간적 정렬을 성공적으로 학습했으며, 이는 주로 어텐션 히트맵에서 '시간 왜곡(time warping)'으로 시각화된다.
• 예측 네트워크만으로는 성능이 열악하다(72.9% 오차율), 이는 성능 향상을 위해 컨텍스트 네트워크와의 공동 모델링이 필수적임을 시사한다.
• 민감도 분석 결과, 트랜스듀서는 입력 및 출력 시퀀스 양쪽 모두의 장거리 의존성에 민감하며, 이중 방향 컨텍스트 네트워크에서는 입력에 대한 민감도가 더 넓게 나타난다.
• 출력 레이티스에서 짧은 수직 세그먼트를 통해 공통된 부분 시퀀스 패턴(예: 'TH', 'HER')을 포착함으로써 효과적인 시퀀스 모델링 능력을 보였다.
• 트랜스듀서는 중간 음소 표현을 생략하고 원시 스펙트로그램에서 직접 문자 시퀀스로의 엔드 투 엔드 음성 인식을 가능하게 했다.