[논문 리뷰] Bayes risk CTC: Controllable CTC alignment in Sequence-to-Sequence tasks

Jinchuan Tian, Brian Yan외 4명|arXiv (Cornell University)|2022. 10. 14.

Algorithms and Data Compression인용 수 4

한 줄 요약

이 논문은 추론 비용(최대 47%)과 지연 시간(30% 감소)을 줄이면서도 번역 정확도를 유지하면서 정렬 예측을 제어할 수 있도록 하는 새로운 CTC 기준인 Bayes Risk CTC(BRCTC)를 제안한다. 이는 학습 중에 사용자 정의 가능한 베이즈 손실 함수를 통합하여, 더 이른 토큰 출력이나 짧은 시퀀스 길이와 같은 원하는 특성에 따라 경로의 재가중을 가능하게 하여, 오프라인 및 온라인 시퀀스-투-시퀀스 작업(예: 음성 인식 및 기계 번역)에서 성능을 향상시킨다.

ABSTRACT

Sequence-to-Sequence (seq2seq) tasks transcribe the input sequence to a target sequence. The Connectionist Temporal Classification (CTC) criterion is widely used in multiple seq2seq tasks. Besides predicting the target sequence, a side product of CTC is to predict the alignment, which is the most probable input-long sequence that specifies a hard aligning relationship between the input and target units. As there are multiple potential aligning sequences (called paths) that are equally considered in CTC formulation, the choice of which path will be most probable and become the predicted alignment is always uncertain. In addition, it is usually observed that the alignment predicted by vanilla CTC will drift compared with its reference and rarely provides practical functionalities. Thus, the motivation of this work is to make the CTC alignment prediction controllable and thus equip CTC with extra functionalities. The Bayes risk CTC (BRCTC) criterion is then proposed in this work, in which a customizable Bayes risk function is adopted to enforce the desired characteristics of the predicted alignment. With the risk function, the BRCTC is a general framework to adopt some customizable preference over the paths in order to concentrate the posterior into a particular subset of the paths. In applications, we explore one particular preference which yields models with the down-sampling ability and reduced inference costs. By using BRCTC with another preference for early emissions, we obtain an improved performance-latency trade-off for online models. Experimentally, the proposed BRCTC reduces the inference cost of offline models by up to 47% without performance degradation and cuts down the overall latency of online systems to an unseen level.

연구 동기 및 목표

• 기본 CTC의 정렬 예측에서 제어 기능의 부족으로 인해 참조 정렬에서 벗어나고 실용적 유용성이 떨어지는 문제를 해결하기 위해.
• 이른 출력 또는 짧은 시퀀스 길이와 같은 정렬 특성을 사용자 정의 가능한 원칙적인 학습 기준을 통해 맞춤형으로 조정할 수 있도록 하기 위해.
• 오프라인 및 온라인 시퀀스-투-시퀀스 모델 모두에서 번역 정확도를 유지하면서 정렬 제어성을 향상시키는 일반적인 프레임워크를 제공하기 위해.
• 학습 중 경로별 위험 함수를 활용하여 실세계 응용에서 추론 비용과 지연 시간을 줄이기 위해.
• BRCTC가 음성 인식 및 기계 번역 작업에서 성능, 지연 시간, 계산 효율성 간의 최신 기준 수준의 트레이드오프를 달성할 수 있음을 입증하기 위해.

제안 방법

• 사용자 정의 가능한 특성(예: 출력 시점, 길이 등)에 따라 경로를 그룹화하는 분할 정복 방식을 사용해 CTC 전진-역방향 알고리즘을 재구성한다.
• 선호하는 경로 그룹에 높은 위험 값을 할당하는 베이즈 손실 함수를 도입하여, 모델이 원하는 특성을 가진 경로에 후행 확률을 집중하도록 이끈다.
• 학습 중 모든 경로를 합산함으로써 원래 CTC 목표를 유지하여 번역 정확도를 보장한다.
• 학습 후 트리밍 기법을 적용하여 시퀀스 길이와 추론 비용을 추가로 줄이며, 특히 오프라인 모델에서 효과적이다.
• 정렬 선호도(예: 이른 출력)와 번역 성능 간의 균형을 조절하기 위해 리스크 요소 λ를 사용하여 온라인 시스템에서 조정 가능한 트레이드오프를 가능하게 한다.
• 기울기 분석과 어텐션 시각화를 통해 BRCTC가 학습 과정에서 출력 피크를 더 이르게 이동시키고, 후행 기능이 후행 인코더 레이어에서 효율적으로 다운샘플링됨을 확인한다.

실험 결과

연구 질문

• RQ1 기본 CTC의 정렬 예측을 제어 가능하게 하여 성능 저하 없이 추론 비용과 지연 시간을 줄일 수 있는가?
• RQ2 베이즈 손실 함수를 CTC 학습에 통합하여 이른 출력이나 짧은 시퀀스와 같은 선호되는 경로 특성으로 모델을 이끌 수 있는가?
• RQ3 BRCTC는 오프라인 모델에서 추론 비용을 얼마나 줄일 수 있으며, 경쟁적인 ASR 또는 MT 성능을 유지할 수 있는가?
• RQ4 BRCTC는 기본 CTC에 비해 온라인 시퀀스-투-시퀀스 모델에서 예상치 못한 수준의 지연 시간 감소를 달성할 수 있는가?
• RQ5 BRCTC의 어텐션 패턴과 기울기 동역학은 이른 출력 시점과 다운샘플링 효율성 측면에서 기본 CTC와 어떻게 다를까?

주요 결과

• BRCTC는 LibriSpeech 및 Aishell-2 데이터셋에서 오프라인 모델의 추론 비용을 최대 47% 감소시키며 성능 저하 없이 성능을 유지함을 입증하였다.
• 온라인 음성 인식에서 BRCTC는 Aishell-2에서 총 지연 시간 최소 302ms를 달성하여 기본 CTC의 431ms 대비 30% 감소를 기록하였다.
• BRCTC 모델은 경쟁적인 번역 품질을 유지하여 IWSLT14에서 BLEU 점수 31.7(De-En)과 38.0(Es-En)를 기록하였으며, 기본 CTC 모델과 유사한 성능을 보였다.
• BRCTC의 다운샘플링 과정은 주로 CTC 레이어 이전의 마지막 두 인코더 레이어에 집중되어 있어 효율적인 전역적 맥락 집약을 나타낸다.
• 기울기 분석 결과, BRCTC는 학습 과정에서 출력 피크가 더 이르게 이동하며, 기울기가 주로 이른 시간 스텝에 집중되어 있음을 확인하여 모델이 이른 출력을 학습할 수 있음을 확인하였다.
• 시각화 결과, BRCTC는 더 컴act한 표현을 가능하게 하여, 은닉 시퀀스 h의 평균 길이를 원래 길이의 63%로 줄여 추론 비용을 27% 절감함을 확인하였다.