[논문 리뷰] Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling

Hairong Liu, Zhenyao Zhu외 2명|arXiv (Cornell University)|2017. 03. 01.

Speech Recognition and Synthesis참고 문헌 22인용 수 25

한 줄 요약

Gram-CTC는 순차적 태깅에서 시간 단위당 가변 길이 출력을 허용하는 새로운 손실 함수를 제안하며, 기본 단위(그램)를 자동으로 학습하고 타겟 시퀀스를 동적으로 분해함으로써 CTC를 확장한다. 이는 정확도와 효율성을 향상시켜 여러 ASR 벤치마크에서 최신 기술 수준의 성능을 달성한다. Switchboard에서 7.3% WER, 10,000시간의 노이즈가 섞인 데이터셋에서 25.59% WER를 기록하며, 기존의 CTC 및 이전 방법들을 능가한다.

ABSTRACT

Most existing sequence labelling models rely on a fixed decomposition of a target sequence into a sequence of basic units. These methods suffer from two major drawbacks: 1) the set of basic units is fixed, such as the set of words, characters or phonemes in speech recognition, and 2) the decomposition of target sequences is fixed. These drawbacks usually result in sub-optimal performance of modeling sequences. In this pa- per, we extend the popular CTC loss criterion to alleviate these limitations, and propose a new loss function called Gram-CTC. While preserving the advantages of CTC, Gram-CTC automatically learns the best set of basic units (grams), as well as the most suitable decomposition of tar- get sequences. Unlike CTC, Gram-CTC allows the model to output variable number of characters at each time step, which enables the model to capture longer term dependency and improves the computational efficiency. We demonstrate that the proposed Gram-CTC improves CTC in terms of both performance and efficiency on the large vocabulary speech recognition task at multiple scales of data, and that with Gram-CTC we can outperform the state-of-the-art on a standard speech benchmark.

연구 동기 및 목표

• 고정된 기본 단위(예: 문자, 단어, 음소)와 고정된 시퀀스 분해 방식의 한계를 해결하기 위해.
• 모델이 학습 데이터로부터 최적의 그램을 학습함으로써 수동으로 단위를 설계할 필요를 제거하기 위해.
• 시간 단위당 가변 길이 출력을 허용함으로써 장기적 의존성을 더 잘 포착하고 모델링 효율성과 성능을 향상시키기 위해.
• 기존의 seq2seq 아키텍처에 수정 없이도 적용 가능한 플러그인 손실 함수를 제공하기 위해.
• 자동으로 그램을 발견하는 과정이 최소 기술 길이와 같은 사전 제약 조건 없이도 열악한 해를 피하는지 검증하기 위해.

제안 방법

• Gram-CTC는 고정된 단위가 아닌, 가변 길이의 그램으로 타겟 시퀀스를 미분 가능하고 학습 가능한 방식으로 분해함으로써 CTC를 확장한다.
• 모델은 학습 도중 그램의 집합을 학습하며, 각 그램은 문자 또는 음소의 부분 시퀀스이며, 분해 방식은 입력에 따라 동적으로 결정된다.
• Gram-CTC는 정렬 과정에 대해 미분 가능한 근사값을 사용하여 그레디언트가 그램의 선택과 그 위치에 대해 흐르도록 한다.
• 손실 함수는 입력 시퀀스와 가변 길이의 그램 시퀀스 간의 가능한 모든 정렬에 대해 집계되며, CTC와 유사하지만 고정된 단위 대신 학습된 그램을 사용한다.
• 학습 안정성 향상과 성능 향상을 위해 교차 엔트로피 손실과 Gram-CTC 손실을 함께 학습하는 전략을 사용한다.
• 모델은 CTC의 2보다 큰 추론 스트라이드(예: 4)를 지원하여 정확도를 유지하면서도 계산 효율성을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 순차적 태깅 모델이 수동으로 설계된 단위가 아닌, 학습 데이터로부터 최적의 기본 단위(그램)를 자동으로 학습할 수 있는가?
• RQ2 시간 단위당 가변 길이 출력을 허용하는 것이 장거리 의존성과 시퀀스 구조를 더 잘 모델링하는 데 기여하는가?
• RQ3 다양한 데이터 스케일에서 Gram-CTC가 정확도와 추론 효율성 측면에서 표준 CTC를 능가할 수 있는가?
• RQ4 명시적인 정규화나 사전 확률 없이도 자동 그램 발견 과정이 열악한 해를 피할 수 있는가?
• RQ5 Gram-CTC는 최소한의 아키텍처 수정으로도 대규모 어휘, 노이즈가 많은 음성 인식 작업에 효과적으로 적용될 수 있는가?

주요 결과

• Gram-CTC는 Switchboard 벤치마크에서 7.3% WER를 기록하여, 기존의 CTC(9.0%) 및 이전 최신 기술 수준의 방법들을 능가한다.
• 10,000시간의 노이즈가 섞인 음성 데이터셋에서, Gram-CTC는 언어 모델 없이도 CTC의 29.1% WER를 27.56%로 감소시키며, 공동 학습을 통해 25.59%까지 추가로 향상시켰다.
• Gram-CTC를 적용한 모델은 CTC의 2보다 큰 추론 스트라이드(4)를 지원하여 계산 효율성을 크게 향상시켰다.
• 교차 엔트로피 손실과 Gram-CTC 손실을 함께 학습함으로써 WER가 27.56%에서 25.59%로 1.97%포인트 감소했으며, 추가 학습 비용은 최소한이었다.
• 베이지안 사전 확률이나 최소 기술 길이 제약 조건 없이도 Gram-CTC는 단위 발견 과정에서 열악한 해를 암묵적으로 피하는 경향을 보였다.
• Gram-CTC의 성공은 빈도가 높고 길이가 최대 5까지인 짧은 그램을 학습함으로써 의미 있는 서브워드 단위를 효과적으로 포착하기 때문으로 분석된다.