[논문 리뷰] Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition

Priyabrata Karmakar, Shyh Wei Teng외 1명|arXiv (Cornell University)|2021. 02. 14.

Speech Recognition and Synthesis참고 문헌 76인용 수 11

한 줄 요약

이 종합 검토는 오프라인 및 스트리밍 ASR 모두를 대상으로, 주로 RNN 기반 및 Transformer 기반 아키텍처를 포함한 주의 기반 신경망에 대한 포괄적인 분석을 제공한다. 글로벌, 로컬, 콘텐츠 기반, 위치 기반, 하이브리드 주의 메커니즘의 진화를 상세히 기술하며, 스트리밍에 유리한 변형 기법들인 청크 플로우, 시간 제한된 자기주의, 단조적 주의와 같은 기법들을 탐구하여 실시간 추론을 가능하게 하면서도 성능을 유지한다.

ABSTRACT

Attention is a very popular and effective mechanism in artificial neural network-based sequence-to-sequence models. In this survey paper, a comprehensive review of the different attention models used in developing automatic speech recognition systems is provided. The paper focuses on the development and evolution of attention models for offline and streaming speech recognition within recurrent neural network- and Transformer- based architectures.

연구 동기 및 목표

• 엔드 투 엔드 자동 음성 인식(ASR) 시스템에서 주의 메커니즘에 대한 체계적인 검토를 제공하기 위해.
• 순환 신경망(RNN) 기반 및 Transformer 기반 ASR 아키텍처에서 주의 모델의 진화를 분석하기 위해.
• 청크화 및 제한된 주의 범위와 같은 기법들을 포함하여, 주의 메커니즘을 활용한 스트리밍 ASR를 가능하게 하는 기술들을 검토하기 위해.
• 정렬 학습의 비효율성과 주의 헤드의 중복성과 같은 온라인 ASR에서 발생하는 과제들을 규명하고, 제안된 해결책들을 검토하기 위해.
• 기존 문헌에서의 격차를 메우기 위해, 더 넓은 NLP 검토들과는 구별되는, ASR에서의 주의에 집중한 포괄적인 종합 검토를 제공하기 위해.

제안 방법

• 주의 계산 방식과 범위에 따라 주의 메커니즘을 글로벌/소프트, 로컬/하드, 콘텐츠 기반, 위치 기반, 하이브리드 유형으로 분류하기.
• 자기주의의 역할을 설명하며, RNN의 대체 기능으로서 Transformer 기반 ASR에서 병렬 처리를 가능하게 하는 데 기여함.
• 청크 플로우 메커니즘(Eq. 21)과 같은 스트리밍 적응 기법을 상세히 기술하며, 이는 입력 창의 고정 길이(예: Nl=20, Nr=10)로 자기주의를 제한함.
• 시간 제한된 자기주의를 기술하며, 좌우로 고정된 수의 프레임(예: 15 및 6 프레임)에만 주의를 집중시켜 실시간 추론을 가능하게 함.
• 동기화된 Transformer와 단조적 절삭 주의를 제시하며, 주의를 오직 왼쪽 컨텍스트에만 제한하고 청크 단위로 처리함.
• 과잉 헤드를 제거하고 효과적인 학습을 유도하기 위해, 중복된 헤드를 마스킹하는 HeadDrop 정규화 및 프루닝 기법을 소개함.

실험 결과

연구 질문

• RQ1 글로벌, 로컬, 콘텐츠 기반, 위치 기반, 하이브리드 유형의 주의 메커니즘은 RNN 기반 및 Transformer 기반 ASR 모델에서 어떻게 진화했고 적용되었는가?
• RQ2 스트리밍(온라인) 음성 인식을 위해 주의 메커니즘을 적응시키기 위해 필요한 주요 아키텍처 및 학습 수정 사항은 무엇인가?
• RQ3 청크 플로우, 시간 제한 주의, 단조적 주의와 같은 기법들은 성능을 유지하면서 실시간 ASR를 어떻게 가능하게 하는가?
• RQ4 다중 헤드 주의를 사용할 경우 온라인 ASR에서 발생하는 과제들은 무엇이며, HeadDrop 및 프루닝과 같은 방법들은 이를 어떻게 해결하는가?
• RQ5 Transformer의 자기주의 메커니즘은 ASR의 시퀀스 모델링에서 순환성의 한계를 어떻게 극복하는가?

주요 결과

• 청크 플로우 메커니즘은 고정된 창(예: 20프레임 왼쪽, 10프레임 오른쪽)으로 자기주의를 제한하여, 제한된 컨텍스트에도 불구하고 수용 가능한 성능으로 스트리밍 추론을 가능하게 한다.
• 시간 제한된 자기주의는 왼쪽 15프레임, 오른쪽 6프레임으로 주의를 제한하여, 최소한의 성능 저하로 실시간 추론을 달성한다.
• 단조적 다중 헤드 주의(MMA)는 각 헤드가 오직 왼쪽에서 오른쪽 방향의 위치에만 주의를 기울이도록 제한함으로써 온라인 디코딩을 가능하게 하지만, 유의미하게 정렬을 학습하는 데 효과적인 헤드는 일부(주로 주도적인 헤드)에 국한된다.
• HeadDrop 정규화는 주의 헤드의 일부를 무작위로 마스킹함으로써 나머지 헤드가 더 효과적으로 학습하도록 유도하고, 중복을 줄여 정렬 학습을 향상시킨다.
• 하위 레이어의 중복된 MA 헤드를 프루닝하면 주의 헤드 간의 협동이 향상되고 온라인 ASR의 추론 효율성이 향상된다.
• 동기화된 Transformer와 청크 기반 자기주의는 인코딩된 프레임을 겹치는 청크 단위로 처리하고 주의를 오직 왼쪽 컨텍스트에만 제한함으로써 전체 시퀀스 종속성을 피함으로써 스트리밍을 가능하게 한다.