[논문 리뷰] Weak-Attention Suppression For Transformer Based Speech Recognition

Yangyang Shi, Yongqiang Wang외 6명|arXiv (Cornell University)|2020. 05. 18.

Speech Recognition and Synthesis참고 문헌 26인용 수 5

한 줄 요약

이 논문은 변환기 기반 자동 음성 인식(ASR)에서 낮은 주의도 확률을 억제하기 위해 학습된 임계값 이하의 주의도 가중치를 0으로 설정하고 재정규화하는 동적 희소성 메커니즘인 약한 주의도 억제(WAS)를 제안한다. WAS는 스트리밍 모델에서 LibriSpeech test-clean에서 WER을 10% 감소시키고 test-other에서 5.2% 감소시켜, 특히 침묵과 인접한 중복 프레임과 같은 부가적이고 비핵심적인 음성 프레임을 걸러내어 성능을 향상시킨다.

ABSTRACT

Transformers, originally proposed for natural language processing (NLP) tasks, have recently achieved great success in automatic speech recognition (ASR). However, adjacent acoustic units (i.e., frames) are highly correlated, and long-distance dependencies between them are weak, unlike text units. It suggests that ASR will likely benefit from sparse and localized attention. In this paper, we propose Weak-Attention Suppression (WAS), a method that dynamically induces sparsity in attention probabilities. We demonstrate that WAS leads to consistent Word Error Rate (WER) improvement over strong transformer baselines. On the widely used LibriSpeech benchmark, our proposed method reduced WER by 10%$ on test-clean and 5% on test-other for streamable transformers, resulting in a new state-of-the-art among streaming models. Further analysis shows that WAS learns to suppress attention of non-critical and redundant continuous acoustic frames, and is more likely to suppress past frames rather than future ones. It indicates the importance of lookahead in attention-based ASR models.

연구 동기 및 목표

• 변환기 기반 ASR에서 인접 프레임 간 상관관계가 높고 장거리 의존성이 약한 부가적이고 비핵심적인 음성 프레임 문제를 해결한다.
• 소프트맥스 함수를 변경하지 않고 주의도 메커니즘에 동적 희소성을 유도하여 모델 효율성과 정확도를 향상시킨다.
• 침묵 또는 중복 프레임에 대한 주의도를 억제하여 스트리밍 및 비스트리밍 변환기 기반 ASR 모델의 성능을 향상시킨다.
• 시간 위치에 따른 볼록성 분석을 통해 주의도 기반 ASR에서 앞서보기의 역할을 조사한다.
• 제안된 방법을 사용하여 LibriSpeech 벤치마크에서 스트리밍 변환기 기반 ASR의 새로운 최고 성능을 확립한다.

제안 방법

• 각 입력 프레임에 대해 주의도 확률 분포를 기반으로 동적으로 임계값을 추정하여 약한 주의도 헤드를 식별한다.
• 추정된 임계값 이하의 모든 주의도 확률을 0으로 설정하고 나머지 확률을 다시 정규화하여 합이 1이 되도록 한다.
• 모든 헤드와 입력 시퀀스에 걸쳐 각 다중 헤드 자기주의 메커니즘 내에서 억제 기법을 적용한다.
• 학습 중 기울기 흐름을 유지하기 위해 각 프레임과 레이어에 맞게 적응하는 미분 가능 임계값 추정 전략을 사용한다.
• 블록 처리와 메모리 백업을 포함한 비스트리밍 및 스트리밍 가능한 변환기 기반 ASR 모델에 WAS를 통합한다.
• 소프트맥스 주의도 메커니즘을 그대로 유지하면서 억제를 통해 희소성을 도입하는 방식으로, 소프트맥스를 대체하는 희소 활성화 함수를 사용하는 기존 방법과는 다르다.

(a) wav

실험 결과

연구 질문

• RQ1 낮은 주의도 확률의 동적 억제가 음성 인식 작업에서 변환기 기반 ASR 성능 향상에 기여할 수 있는가?
• RQ2 침묵 또는 중복 프레임에 대한 주의도를 억제하면 일반화 성능 향상과 더 낮은 WER 달성에 기여하는가?
• RQ3 깊은 아키텍처에서 하위 레이어와 상위 레이어 간 억제 패턴은 어떻게 다를까?
• RQ4 과거 및 미래 컨텍스트 프레임 간 억제에 체계적인 차이가 있으며, 이는 앞서보기 중요성에 대해 어떤 함의를 갖는가?
• RQ5 WAS는 다양한 모델 크기에서 스트리밍 및 비스트리밍 변환기 기반 ASR 모델에 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• WAS는 스트리밍 가능한 변환기 기반 모델에서 LibriSpeech test-clean에서 10.0%의 상대적 WER 감소와 test-other에서 5.2%의 감소를 달성하여 스트리밍 모델 중 최고 성능을 기록했다.
• 이 방법은 침묵 및 중복 프레임에 대한 주의도를 억제했으며, 특히 하위 레이어에서 인접 프레임에 대해 가장 두드러진 억제가 관찰되었다.
• 첫 번째 변환기 레이어에서의 주의도 억제가 12번째 레이어보다 약 10배 이상 높았으며, 이는 하위 레이어가 세밀한 음성 세부 정보를 처리한다는 것을 시사한다.
• 과거 컨텍스트(왼쪽)에서의 주의도 억제가 미래 컨텍스트(오른쪽)보다 더 높았으며, 특히 깊은 레이어에서 두드러졌다. 이는 주의도 기반 ASR에서 앞서보기의 중요성을 강조한다.
• 억제 기법은 비핵심 프레임에 대한 주의도를 효과적으로 줄였고, 동시에 의미 있는 장거리 의존성을 유지하여 모델의 강건성을 향상시켰다.
• 모델 크기(12층 및 24층)와 모델 유형(스트리밍 및 비스트리밍)에 관계없이 개선 효과가 일관되게 나타나 보편적인 적용 가능성을 입증했다.

(b) layer 1