[논문 리뷰] Multi-modal Automated Speech Scoring using Attention Fusion

Manraj Singh Grover, Yaman Kumar외 4명|arXiv (Cornell University)|2020. 05. 17.

Speech Recognition and Synthesis참고 문헌 20인용 수 6

한 줄 요약

이 논문은 음성(보내기 기반 BDRCNN를 통한) 및 텍스트(보내기 기반 BDLSTM를 통한) 특징 간의 어텐션 퓨전을 사용하여 비모국어 사용자에 대한 자동 음성 평가를 위한 다중 모odal 엔드 투 엔드 신경망 모델을 제안한다. 이 모델은 최신 기술 수준의 성능을 달성하였으며, 오직 음성만을 사용하는 기준 모델 대비 42.6% 상대적 향상과 오직 텍스트만을 사용하는 모델 대비 8.2% 향상된 2차 가중 카프파(QWK)를 기록하여, 양방향 모달리티에 대한 어텐션 퓨전이 평가 정확도를 크게 향상시킴을 보여준다.

ABSTRACT

In this study, we propose a novel multi-modal end-to-end neural approach for automated assessment of non-native English speakers' spontaneous speech using attention fusion. The pipeline employs Bi-directional Recurrent Convolutional Neural Networks and Bi-directional Long Short-Term Memory Neural Networks to encode acoustic and lexical cues from spectrograms and transcriptions, respectively. Attention fusion is performed on these learned predictive features to learn complex interactions between different modalities before final scoring. We compare our model with strong baselines and find combined attention to both lexical and acoustic cues significantly improves the overall performance of the system. Further, we present a qualitative and quantitative analysis of our model.

연구 동기 및 목표

• 비모국어 영어 사용자의 음성 평가를 위한 엔드 투 엔드 다중 모달 딥 러닝 프레임워크 개발
• 어휘적 특징과 음성 특징을 어텐션 기반 메커니즘으로 융합하여 평가 성능 향상
• 음성 및 텍스트 모달리티에 대한 학습된 어텐션 가중치를 분석하여 모델의 해석 가능성 분석
• 실제 비모국어 음성 대신 화이트 노이즈 또는 합성 TTS 출력으로 대체하는 등 분포 변화 상황에서의 모델의 강건성 평가
• 다양한 난이도 수준에서 음성과 텍스트 모달리티가 응답 평가에 미치는 상대적 기여도 분석

제안 방법

• 로그 스케일링된 멜 스펙트로그램을 음성 표현으로 인코딩하기 위해 양방향 순환 컨volution 신경망(BDRCNN) 사용
• ASR 출력 전사본의 워드 임베딩에 대해 양방향 장기 단기 기억 네트워크(BDLSTM)를 적용하여 텍스트 콘텐츠 표현 학습
• 최종 평가 이전에 복잡한 다중 모달 상호작용을 모델링하기 위해 인코딩된 음성 및 텍스트 특징에 대해 학습된 어텐션 퓨전 적용
• 텍스트 인코딩을 위해 위키피디아에서 초기화된 300차원의 GloVe 임베딩 사용 및 훈련 중 미세조정
• 모달리티 집중도를 시각화하고 질적 분석을 위해 어텐션 가중치에 최소-최대 정규화 적용
• 모델 강건성 평가를 위해 실제 음성 입력을 화이트 노이즈 및 TTS 생성 음성으로 대체하는 아블레이션 스터디 수행

실험 결과

연구 질문

• RQ1 음성과 텍스트 모달리티 간의 어텐션 퓨전이 단일 모달 모델 대비 자동 음성 평가 성능에 어떤 영향을 미치는가?
• RQ2 다양한 응답 품질 수준에서 음성 및 어휘적 특징이 최종 평가 결정에 기여하는 상대적 비중은 어떻게 되는가?
• RQ3 어텐션 가중치는 음성과 텍스트 모달리티에 어떻게 분포되어 있으며, 인간 평가 패턴과 상관관계가 있는가?
• RQ4 실제 비모국어 음성 대신 원천 모국어 TTS 또는 화이트 노이즈를 사용할 경우 모델 성능은 어떻게 저하되는가?
• RQ5 모델의 어텐션 집중이 의미 있는 콘텐츠가 풍부한 또는 불순한 세그먼트로 의미 있게 이동하는가, 그리고 이는 평가 결과와 연결될 수 있는가?

주요 결과

• 제안된 다중 모달 어텐션 퓨전(MMAF) 모델은 프롬프트 1에서 QWK 52.9%를 기록하여, BDLSTM 전용 모델(47.3%) 대비 8.2% 향상되고 BDRCNN 전용 모델(30.2%) 대비 42.6% 향상된 상대적 성능 향상을 달성하였다.
• 모든 프롬프트에 걸쳐 MMAF의 평균 QWK는 0.458이며, 이는 오직 음성만을 사용하는 BDRCNNAttn 모델 대비 42.6% 상대적 향상과 오직 텍스트만을 사용하는 BDLSTMAttn 모델 대비 8.2% 향상된 결과이다.
• 모델은 텍스트 특징을 강하게 선호하며, 모든 프롬프트에서 약 85:15 비율로 텍스트보다 음성에 대한 어텐션 가중치가 더 높게 나타났다.
• 저점수 응답에서는 음성에 대한 어텐션 비율이 약간 증가하였으며, 이는 높은 ASR 단어 오류율과 낮은 음성 이해도와 관련이 있었다.
• 실제 음성을 화이트 노이즈로 대체하면 평균 QWK가 23.8% 감소하였고(임계값 최적화 없이), TTS 생성 음성으로 대체하면 QWK가 27.2% 감소하여, 모델이 비모국어 음성 특성에 민감함을 시사한다.
• 질적 분석 결과, 유창하고 콘텐츠가 풍부한 세그먼트(예: "no smoking")에서는 모델이 텍스트에 더 많은 어조를 기울이는 것으로 확인되었으며, 반면 불순한 표현(예: "uh", "um")에서는 음성에 집중하는 경향을 보였다.