[논문 리뷰] Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering

Chenyu You, Nuo Chen외 1명|arXiv (Cornell University)|2020. 10. 21.

Speech and dialogue systems인용 수 6

한 줄 요약

이 논문은 교차-어텐션과 자기-어텐션을 활용하여 수동 번역본과 ASR 변환 텍스트를 정렬함으로써, 자동 음성 인식(ASR) 오류의 영향을 줄이고, 교사-학생 프레임워크를 통해 ASR에 강건한 지식을 전달함으로써 구두 대화형 질의응답(SCQA) 성능을 향상시키는 컨텍스트 기반 어텐션 기반 지식 정련 프레임워크인 CADNet을 제안한다. 이 방법은 Spoken-CoQA 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 매우 노이즈가 많은 전사본에서 F1 점수가 최대 59.6%까지 향상된다.

ABSTRACT

Spoken conversational question answering (SCQA) requires machines to model complex dialogue flow given the speech utterances and text corpora. Different from traditional text question answering (QA) tasks, SCQA involves audio signal processing, passage comprehension, and contextual understanding. However, ASR systems introduce unexpected noisy signals to the transcriptions, which result in performance degradation on SCQA. To overcome the problem, we propose CADNet, a novel contextualized attention-based distillation approach, which applies both cross-attention and self-attention to obtain ASR-robust contextualized embedding representations of the passage and dialogue history for performance improvements. We also introduce the spoken conventional knowledge distillation framework to distill the ASR-robust knowledge from the estimated probabilities of the teacher model to the student. We conduct extensive experiments on the Spoken-CoQA dataset and demonstrate that our approach achieves remarkable performance in this task.

연구 동기 및 목표

• 수동 번역본과 ASR로 변환된 텍스트에서 발생하는 자동 음성 인식(ASR) 오류로 인한 구두 대화형 질의응답(SCQA) 성능 저하 문제를 해결하기 위해.
• 다중 라운드 대화에서의 컨텍스트 이해를 유지하면서 노이즈가 많은 ASR 전사본에 대한 모델의 강건성 향상을 위한 방법을 개발하기 위해.
• 어텐션 기반 기법을 통해 수동(기준) 텍스트와 ASR로 변환된 텍스트를 모두 활용하여 표현 학습을 향상시키기 위해.
• 교사 모델이 깨끗한 기준 텍스트로 훈련된 후, 노이즈가 많은 ASR 데이터로 훈련된 학생 모델에게 강건한 지식을 전달하는 지식 정련 프레임워크를 설계하기 위해.
• ASR 단어 오류율(WER) 수준이 다양한 경우에 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• CADNet은 수동 기준 텍스트와 ASR로 변환된 본문 및 대화 간의 컨텍스트 표현을 정렬하기 위해 교차-어텐션과 자기-어텐션 메커니즘을 사용한다.
• 교사-학생 정련 프레임워크를 사용하며, 깨끗한 기준 텍스트로 훈련된 교사 모델이 노이즈가 많은 ASR 전사본으로 훈련된 학생 모델에게 소프트 레이블 감독을 제공한다.
• 다중 헤드 어텐션을 통해 트랜스포머 기반 인코더에서 컨텍스트 기반 표현을 학습하며, BPE 토큰화를 사용할 경우 서브워드 토큰의 BERT 임베딩을 평균화하여 특징 융합을 수행한다.
• 온도 기반 소프트 레이블 손실을 사용한 지식 정련을 적용하며, 교차 엔트로피와 정련 목표 간 균형을 맞추기 위해 하이퍼파rameter α = 0.9를 사용한다.
• 프레임워크는 Spoken-CoQA 데이터셋에서 평가되며, 텍스트 기반 및 ASR 전사 훈련 세트 양쪽 모두에 대해 모델을 피나이팅한다.
• 평가에는 정확도 매칭(EM)과 F1 점수를 사용하며, WER 수준에 따라 성능을 평가하기 위해 프레임 단위 F1 점수를 사용한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 ASR 전사본을 대응할 때 컨텍스트 기반 어텐션 메커니즘이 SCQA에서 표현 학습을 향상시킬 수 있는가?
• RQ2 깨끗한 텍스트로 훈련된 교사 모델에서의 지식 정련이 노이즈가 많은 ASR 데이터에서 학생 모델의 강건성을 향상시키는가?
• RQ3 제안된 방법은 ASR 전사본의 단어 오류율(WER) 수준이 다양할 경우 어떻게 성능을 보이는가?
• RQ4 교차-어텐션과 자기-어텐션의 조합이 SCQA에서의 다중 라운드 대화 이해를 얼마나 향상시키는가?
• RQ5 제안된 방법은 Spoken-CoQA 벤치마크에서 BERT, ALBERT, FlowQA, SDNet과 같은 강력한 베이스라인을 능가하는가?

주요 결과

• CADNet이 컨텍스트 기반 어텐션과 지식 정련(CA+KD)을 적용한 경우, 수동 전사본에서 F1 점수는 54.7%를 기록하고, ASR 전사본에서는 39.9%를 기록하며, 베이스라인 대비 각각 3.1점과 5.2점 향상되었다.
• SDNet이 CA+KD를 적용한 경우, 수동 전사본에서 F1 점수는 56.5%이며, ASR 전사본에서는 57.7%를 기록하여, 각각 베이스라인 대비 4.0점과 4.6점 향상되었다.
• BERT-base가 CA+KD를 적용한 경우, 수동 전사본에서 F1 점수는 58.8%이며, ASR 전사본에서는 59.6%를 기록하여, 각각 베이스라인 대비 3.0점과 3.6점 향상되었다.
• ALBERT-base가 CA+KD를 적용한 경우, 수동 전사본에서 F1 점수는 57.7%이며, ASR 전사본에서는 58.7%를 기록하여, 각각 베이스라인 대비 3.6점과 3.5점 향상되었다.
• 모든 평가된 모델에서 일관된 향상이 관찰되어, 다양한 아키텍처에 일반화 가능함을 확인하였다.
• 점차 증가하는 WER 수준에서도 성능가 안정되어 있으며, 고수준의 WER에서도 뚜렷한 성능 향상이 관찰되어, ASR 노이즈에 대한 강건성이 확인되었다.