[논문 리뷰] Understanding Self-Attention of Self-Supervised Audio Transformers

Shu-Wen Yang, Andy T. Liu외 1명|arXiv (Cornell University)|2020. 06. 05.

Speech Recognition and Synthesis참고 문헌 32인용 수 4

한 줄 요약

이 논문은 자기지도 학습 음성 트랜스포머(SATs)에서 자기주의 어텐션 메커니즘을 분석하여 어텐션 헤드를 전역, 수직, 대각선 유형으로 분류함으로써, 대각선 어텐션은 음소 분류에 가장 중요하다는 것을 밝혀냈다. 시각화, 전역도(엔트로피 기반)를 통한 중요도 순위 매기기, 그리고 잘라내기 전략을 통해 저자들은 전역 또는 장거리 어텐션 헤드를 제거함으로써 정확도 손실 없이 성능과 추론 속도를 향상시킬 수 있음을 보여주며, 특히 문장 수준의 화자 인식에서 두드러진다.

ABSTRACT

Self-supervised Audio Transformers (SAT) enable great success in many downstream speech applications like ASR, but how they work has not been widely explored yet. In this work, we present multiple strategies for the analysis of attention mechanisms in SAT. We categorize attentions into explainable categories, where we discover each category possesses its own unique functionality. We provide a visualization tool for understanding multi-head self-attention, importance ranking strategies for identifying critical attention, and attention refinement techniques to improve model performance.

연구 동기 및 목표

• 자기지도 학습 음성 트랜스포머(SATs)에서 자기주의 어텐션 헤드의 기능적 역할을 이해하는 것. 이는 ASR 및 기타 작업에서의 성공에도 불구하고 아직 탐구되지 않은 분야이다.
• 다중 헤드 자기주의 어텐션에 대한 해석 가능성 도구를 개발하는 것. 이는 시각화, 분류, 중요도 순위 매기기를 포함한다.
• 전역 및 장거리 어텐션 헤드가 음소 및 화자 표현 학습에 유익한지 유해한지 조사하는 것.
• 덜 중요한 어텐션 헤드를 제거하거나 제약을 두어 SAT 표현을 개선하고 추론 속도 및 모델 효율성을 높이는 것.
• 표준 가중치 기반 순위 매기기보다 뛰어난 원칙적인 어텐션 헤드 잘라내기 방법을 수립하는 것.

제안 방법

• 자기주의 어텐션 헤드를 세 가지 기능적 유형으로 분류: 전역(균일한 분포), 수직(특정 음소에 집중), 대각선(±t 이웃 또는 음소 경계에 집중).
• 어텐션 맵을 분석하고, 음소 경계와의 상관관계 또는 무시 기능 등 암묵적 연산을 식별하기 위한 시각화 도구 개발.
• 어텐션 분포의 엔트로피 기반 전역도 메트릭을 제안하여 헤드 중요도를 순위 매기며, 단순한 어텐션 가중치 순위 매기기보다 우수함.
• 두 가지 잘라내기 전략 적용: 전역도 기반 헤드 잘라내기 및 고정 범위 r 내에서 어텐션을 제한하는 스팸 기반 잘라내기.
• LibriSpeech 데이터셋에서 C_num = 3, 6, 9로 변화하는 연속 마스킹 길이를 가진 세 가지 SAT 모델(M3, M6, M9)을 훈련 및 평가하여 다양한 설정에서의 강건성 평가.
• 헤드 행동 분석 및 검증을 위해 음소 관계 맵(PRMs)을 사용하여 '무시' 기능을 수행하는 헤드가 높은 어텐션 가중치를 가진 헤드보다 더 중요하다는 것을 확인함.

Figure 1: Attention maps of heads favored by G, V, D, visualized with the same utterance. (a)(c)(e) are average cases; (b)(d)(f) are extreme cases found by maximizing the metrics.

실험 결과

연구 질문

• RQ1 자기지도 학습 음성 트랜스포머에서 다양한 유형의 자기주의 어텐션 헤드는 어떤 기능적 역할을 하는가?
• RQ2 SATs의 어텐션 메커니즘의 암묵적 연산을 어떻게 해석하고 시각화할 수 있는가?
• RQ3 음소 분류 및 화자 인식과 같은 최종 작업에서 가장 중요한 어텐션 헤드는 무엇인가?
• RQ4 전역 또는 장거리 어텐션 헤드를 제거하면 모델 성능과 추론 속도가 향상되는가?
• RQ5 잘라내기를 통한 어텐션 정제가 계산 비용을 줄이면서 표현 품질을 향상시킬 수 있는가?

주요 결과

• 대각선 어텐션 헤드가 음소 분류에 가장 중요하며, 첫 24개의 대각선 헤드를 잘라내면 성능 저하가 가장 커진다.
• 수직 및 전역 어텐션 헤드는 음소 구조에 해로우며, 잘라내면 음소 분류 정확도가 향상된다.
• 전역도 기반 중요도 순위 매기기가 어텐션 가중치 기반 순위 매기기보다 뛰어나며, 무시 기능을 가진 헤드를 더 잘 식별함.
• 전역 헤드 잘라내기는 음소 분류 성능 향상과 더 빠른 추론을 이끌어내며, 특히 문장 수준의 화자 인식에서 두드러진다.
• 스팸 기반 잘라내기 결과 장거리 어텐션은 음소 표현에 필수적이지 않으며, 어텐션 스팸을 제한함으로써 효율성을 높일 수 있고 정확도 손실이 크지 않다.
• 모든 작업에서 성능 저하 없이 50% 이상의 헤드 잘라내기를 달성하여 뚜렷한 효율성 향상을 입증함.

Figure 2: Four images on the left side are plotted with the same utterance. (a) a block diagonal attention map. (b) a block diagonal map plotted with true phoneme boundaries. Two orange dotted lines show two examples of boundaries. (c) similarity matrix for (a). (d) similarity matrix for MFCCs. (e)