[논문 리뷰] A Neural Transducer

Navdeep Jaitly, David Sussillo외 4명|arXiv (Cornell University)|2015. 11. 16.

Neural Networks and Applications참고 문헌 26인용 수 36

한 줄 요약

이 논문은 부분 입력 시퀀스와 이전에 생성된 출력에 조건을 두어 실시간으로 증분적이고 온라인 예측을 가능하게 하는 신경 전환기(Neural Transducer)를 소개한다. 표준 순서-순서 모델과 달리, 블록 간에 반복 상태를 유지하는 전이기 RNN을 사용하여 실시간으로 길이가 변하는 출력 블록을 생성한다. TIMIT에서 19.8%의 음소 오류율을 기록하여 주목할 만한 성능을 달성했으며, 주의 메커니즘 없이도 최신 기술 수준에 근접한다.

ABSTRACT

Sequence-to-sequence models have achieved impressive results on various tasks. However, they are unsuitable for tasks that require incremental predictions to be made as more data arrives or tasks that have long input sequences and output sequences. This is because they generate an output sequence conditioned on an entire input sequence. In this paper, we present a Neural Transducer that can make incremental predictions as more input arrives, without redoing the entire computation. Unlike sequence-to-sequence models, the Neural Transducer computes the next-step distribution conditioned on the partially observed input sequence and the partially generated sequence. At each time step, the transducer can decide to emit zero to many output symbols. The data can be processed using an encoder and presented as input to the transducer. The discrete decision to emit a symbol at every time step makes it difficult to learn with conventional backpropagation. It is however possible to train the transducer by using a dynamic programming algorithm to generate target discrete decisions. Our experiments show that the Neural Transducer works well in settings where it is required to produce output predictions as data come in. We also find that the Neural Transducer performs well for long sequences even when attention mechanisms are not used.

연구 동기 및 목표

• 전체 입력이 완전히 도착하기 전까지 출력을 생성할 수 없는 순서-순서 모델의 한계를 해결하기 위해, 특히 음성 인식 및 온라인 번역과 같은 실시간 응용 분야에서의 적용을 고려한다.
• 입력 데이터가 도착하는 대로 출력을 증분적으로 생성할 수 있도록 모델을 설계하여 전체 시퀀스를 다시 처리하지 않도록 한다.
• 추론 시 명시적인 애너테이션 없이도 이산적 출력 결정을 미분 가능한 방식으로 학습할 수 있는 방법을 개발한다.
• 자기주의 주의(self-attention) 기반 메커니즘 없이도 장거리 시퀀스에서 우수한 성능을 내도록 하며, 특히 블록 단위의 반복성이 사용될 경우 성능 향상이 뚜렷하다.

제안 방법

• 모델은 이중 스트림 아키텍처를 사용한다: 인코더는 입력 블록을 처리하고, 전이기 RNN은 인코더의 특징과 자신의 반복 히든 상태에 기반해 출력 기호를 생성한다.
• 각 타임스텝에서 전이기 RNN은 0개 이상의 출력 기호를 내보내야 할지 결정함으로써, 블록당 길이가 변하는 출력 생성을 가능하게 한다.
• 학습 중에는 근사 최적의 애너테이션을 계산하기 위해 동적 프로그래밍 알고리즘을 사용하여 이산적 결정을 통해 역전파가 가능하도록 한다.
• 반복 상태는 블록 간에 유지되어 전이기가 장거리 의존성과 입력 세그먼트 간의 맥락을 유지할 수 있도록 한다.
• 학습 목표는 입력 블록에 주어진 예측 출력 시퀀스의 가능도를 최대화하는 것으로, 동적 프로그래밍을 통해 유도된 애너테이션 근사치를 사용한다.
• 모델은 단방향 LSTM과 블록 단위 처리를 사용하여 TIMIT 음소 인식에서 평가되었으며, 블록 크기, 깊이, 주의 메커니즘에 대한 분석 실험을 수행했다.

실험 결과

연구 질문

• RQ1 입력 시퀀스가 완전히 도착하기 전에 입력 데이터가 도착하는 대로 출력을 증분적으로 생성할 수 있는가?
• RQ2 표준 역전파가 직접 적용되지 않는 상황에서 이산적 출력 결정을 효과적으로 학습할 수 있는가?
• RQ3 입력 블록 간에 반복 상태를 유지하면 비반복적 블록 처리 대비 장거리 시퀀스에서 성능이 향상되는가?
• RQ4 자기주의 주의 기반 메커니즘 없이도 장시퀀스 작업(예: 음소 인식)에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 모델 성능은 블록 크기와 아키텍처 깊이에 얼마나 민감한가?

주요 결과

• 신경 전환기는 3층의 단방향 LSTM 인코더와 전이기 RNN을 사용하여 TIMIT 테스트 세트에서 19.8%의 음소 오류율을 기록했으며, 이는 최신 기술 수준에 근접한 성능이다.
• GMM-HMM 시스템으로부터 고품질의 애너테이션을 얻어 학습한 경우, 모델은 19.8%의 PER을 달성하여 적절한 지도 학습 하에 뛰어난 성능을 보였다.
• 전이기 RNN의 반복 상태를 블록 간에 유지함으로써, 블록 크기가 15 프레임일 때 PER이 34.3%에서 20.6%로 감소하여 맥락 유지의 중요성을 입증했다.
• 주목 없이도 최적의 블록 크기 W=8에서 경쟁 가능한 결과를 달성했으며, 주의 기반 메커니즘을 사용할 경우 성능이 블록 크기 변화에 덜 민감해졌다.
• 모델는 장거리 시퀀스에서 잘 작동하며,