[논문 리뷰] On the Usefulness of Self-Attention for Automatic Speech Recognition with Transformers

Shucong Zhang, Erfan Loweimi외 2명|arXiv (Cornell University)|2020. 11. 08.

Speech Recognition and Synthesis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 상위 트랜스포머 인코더 레이어에서의 자체주의(self-attention)가 자동 음성 인식(ASR)에 필수적인지 여쭤본다. 상위 자체주의 레이어를 피드포워드 네트워크로 대체하고 대각성 지표(diagonality metric)를 도입함으로써, 저자들은 상위 레이어가 자연스럽게 局소적으로 주의를 기울인다는 것을 발견했으며, 이는 자체주의가 그 곳에서 불필요하다는 것을 의미한다—성능 저하 없이 성능 향상이 약간 발생한다.

ABSTRACT

Self-attention models such as Transformers, which can capture temporal relationships without being limited by the distance between events, have given competitive speech recognition results. However, we note the range of the learned context increases from the lower to upper self-attention layers, whilst acoustic events often happen within short time spans in a left-to-right order. This leads to a question: for speech recognition, is a global view of the entire sequence useful for the upper self-attention encoder layers in Transformers? To investigate this, we train models with lower self-attention/upper feed-forward layers encoders on Wall Street Journal and Switchboard. Compared to baseline Transformers, no performance drop but minor gains are observed. We further developed a novel metric of the diagonality of attention matrices and found the learned diagonality indeed increases from the lower to upper encoder self-attention layers. We conclude the global view is unnecessary in training upper encoder layers.

연구 동기 및 목표

• 상위 트랜스포머 인코더 레이어에서의 글로벌 자체주의가 자동 음성 인식에 필수적인지 확인하는 것.
• 트랜스포머에서 글로벌 자체주의의 성공과 RNN 기반 모델에서의 단조적(국소적) 주의의 성능 향상 사이의 괴리를 규명하는 것.
• 인코더의 하위 레이어에서 상위 레이어로 갈수록 자체주의 레이어가 학습하는 맥락 범위가 어떻게 변화하는지 분석하는 것.
• 지속적인 주의 패턴을 정량화하기 위해 주의 행렬의 대각성(diangonality)을 측정하는 새로운 지표를 개발하는 것.
• 성능 저하 없이 상위 자체주의 레이어를 피드포워드 레이어로 대체함으로써 아키텍처의 효율성을 탐색하는 것.

제안 방법

• WSJ 및 Switchboard 데이터셋에서 상위 피드포워드 레이어와 하위 자체주의 레이어를 가진 트랜스포머 모델을 훈련시켰다.
• 입력 시퀀스의 국소적이고 왼쪽에서 오른쪽으로 이르는 시간 간격에 주의를 기울이는 정도를 정량화하기 위해 새로운 대각성 지표를 제안했다.
• 각 인코더 레이어의 모든 주의 헤드에 대해 평균 대각성을 계산하여 주의 패턴의 변화를 추적했다.
• 다양한 수의 상위 자체주의 레이어를 피드포워드 레이어로 대체한 후 모델 성능을 비교했다.
• 레이어를 대체하기 전과 후의 주의 행렬 대각성 추세를 분석하여 구조적 안정성과 주의 행동을 평가했다.

실험 결과

연구 질문

• RQ1 자신의 주의가 상위 트랜스포머 인코더 레이어에서 음성 인식에 글로벌 맥락 모델링 능력을 필요로 하는가?
• RQ2 트랜스포머 인코더의 하위 레이어에서 상위 레이어로 갈수록 자체주의 레이어의 유효 수신 범위는 어떻게 변화하는가?
• RQ3 상위 자체주의 레이어를 피드포워드 레이어로 대체해도 ASR 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 전체 범위에 접근할 수 있음에도 불구하고, 상위 레이어의 자체주의 헤드가 국소적이고 왼쪽에서 오른쪽으로 맥락에 집중하는 방식으로 학습되는 정도는 어느 정도인가?
• RQ5 주의 행렬의 대각성은 불필요한 자체주의 레이어를 식별하는 데 신뢰할 수 있는 지표가 될 수 있는가?

주요 결과

• WSJ 및 Switchboard에서 상위 자체주의 레이어를 피드포워드 레이어로 대체해도 성능 저하가 없으며, 약간의 성능 향상이 발생한다.
• 주의 행렬의 평균 대각성이 하위 레이어에서 상위 레이어로 갈수록 증가하여 상위 레이어에서 국소적이고 왼쪽에서 오른쪽으로 주의를 기울이는 경향이 있음을 나타낸다.
• 12층 인코더의 9번과 10번 레이어는 여전히 자체주의가 필요하며, 피드포워드 레이어로 대체하면 오류율이 증가한다.
• 상단 두 레이어(11번과 12번)는 거의 최대 대각성(~1)을 보이며, 이미 국소적 맥락에만 주의를 기울이고 있음을 보여, 여기서 자체주의는 불필요하다.
• 7번과 8번 레이어 역시 높은 대각성을 보이며, 이는 대체 후보가 될 수 있음을 시사하지만, 피드포워드 레이어로 대체하면 오류율이 증가하여 맥락 흐름의 교란이 원인일 가능성이 높다.
• 상위 레이어를 피드포워드 네트워크로 대체한 후에도 하위 레이어에서 상위 레이어로 갈수록 대각성이 증가하는 경향이 유지되어 안정적인 주의 행동을 확인했다.