[논문 리뷰] Imputer: Sequence Modelling via Imputation and Dynamic Programming

William Chan, Chitwan Saharia외 3명|arXiv (Cornell University)|2020. 02. 20.

Speech Recognition and Synthesis참고 문헌 52인용 수 23

한 줄 요약

Imputer는 고정 크기의 정렬 캔버스 위에서 반복적으로 보정을 통해 시퀀스를 생성하는 신경 시퀀스 모델로, 정렬과 생성 순서에 대한 근사적 마진화를 위해 동적 프로그래밍을 사용한다. LibriSpeech test-other에서 11.1 WER을 기록하여 CTC(13.0 WER)보다 우수하고, seq2seq 자동회귀 모델(12.5 WER)과 동등한 성능을 달성한다.

ABSTRACT

This paper presents the Imputer, a neural sequence model that generates output sequences iteratively via imputations. The Imputer is an iterative generative model, requiring only a constant number of generation steps independent of the number of input or output tokens. The Imputer can be trained to approximately marginalize over all possible alignments between the input and output sequences, and all possible generation orders. We present a tractable dynamic programming training algorithm, which yields a lower bound on the log marginal likelihood. When applied to end-to-end speech recognition, the Imputer outperforms prior non-autoregressive models and achieves competitive results to autoregressive models. On LibriSpeech test-other, the Imputer achieves 11.1 WER, outperforming CTC at 13.0 WER and seq2seq at 12.5 WER.

연구 동기 및 목표

• 시퀀스 길이에 관계없이 일정한 수의 생성 단계만 요구함으로써 속도와 정확도의 균형을 이루는 시퀀스 모델을 개발한다.
• 특히 음성 인식과 같은 단조적 작업에서 가능한 모든 정렬과 생성 순서에 대한 근사적 마진화를 가능하게 한다.
• 출력 토큰 간 조건부 독립을 가정하는 비자기적 모델의 한계를 극복하여, 추론 속도를 유지하면서 성능을 향상시킨다.
• 양방향 컨텍스트를 지원하면서도 전형적인 인코더-디코더 아키텍처에서 흔히 사용되는 교차 어텐션 메커니즘을 피하는 모델을 설계한다.

제안 방법

• 입력 및 출력 시퀀스가 겹쳐진 고정 크기의 정렬 캔버스를 사용하여 누락된 토큰을 반복적으로 보정한다.
• 각 단계에서 부분 정렬에 조건을 두고 토큰 블록을 예측하는 방식으로 생성 과정을 모델링한다.
• 모든 가능한 부분 정렬 완성에 대한 마진화를 위해 동적 프로그래밍 알고리즘을 사용하여 로그 마진 확률의 하한을 계산한다.
• 단조적 정렬의 구조를 활용하여 마진 확률의 미분 가능 근사치를 사용해 엔드 투 엔드로 모델을 훈련한다.
• 비중복 병렬 보정을 보장하기 위해 블록 기반 디코딩을 적용하여 국소적 일관성과 계산 효율성을 유지한다.
• 지역 음향 특징과 전반적 맥락적 의존성을 모두 모델링하기 위해 컨볼루션과 자기어텐션을 조합한다.

실험 결과

연구 질문

• RQ1 자기적 모델에 비해 경쟁적인 성능을 달성하면서도 시퀀스 길이에 관계없이 일정한 수의 생성 단계만 요구하는 시퀀스 모델은 가능한가?
• RQ2 지수적 계산 비용 없이 가능한 모든 정렬과 생성 순서에 대해 효과적으로 마진화할 수 있는가?
• RQ3 고정 캔버스를 사용한 반복 보정은 CTC 및 NAT와 같은 기존 비자기적 모델보다 더 우수한 성능을 낼 수 있는가?
• RQ4 비자기적, 일정 단계 생성 프레임워크에 양방향 컨텍스트를 얼마나 효과적으로 통합할 수 있는가?
• RQ5 교차 어텐션 메커니즘을 피할 경우, 음성과 같은 장수의 단조적 시퀀스에서 학습 효율성과 성능이 향상되는가?

주요 결과

• LibriSpeech test-other 벤치마크에서 Imputer는 11.1%의 단어 오류율(WER)을 기록하여 CTC(13.0 WER)와 seq2seq(12.5 WER)를 모두 앞선다.
• Imputer는 시퀀스 길이에 관계없이 일정한 수의 생성 단계만 요구하면서도 자기적 모델과 경쟁 가능한 성능을 달성한다.
• 겹치지 않는 블록 기반 디코딩은 탐욕형 top-k 디코딩(11.6 WER)보다 더 우수한 성능(11.2 WER)을 내며, 구조화된 생성의 중요성을 시사한다.
• 시뮬레이티드 앤날링 및 길이 예측 전략이 수렴한 모델에서 성능 향상을 이끌지 못했으며, 표준 훈련 및 디코딩 설정이 안정적임을 시사한다.
• 길이 예측이나 교차 어텐션을 요구하지 않아 아키텍처가 단순화되면서도 강력한 성능을 유지한다.
• CTC 정렬을 사용한 롤인 초기화가 훈련 안정성과 성능 향상에 기여하여, CTC에서 유도된 강력한 인덕티브 바이어스가 Imputer 훈련에 유리함을 시사한다.