[논문 리뷰] Towards Data Distillation for End-to-end Spoken Conversational Question Answering

Chenyu You, Nuo Chen외 3명|arXiv (Cornell University)|2020. 10. 18.

Topic Modeling참고 문헌 37인용 수 26

한 줄 요약

이 논문은 120만 개가 넘는 QA 쌍을 포함한 새로운 다중 전환 음성 대화 질의응답 데이터셋인 Spoken-CoQA를 소개하고, 자동 음성 인식(ASR) 출력과 기준 번역문 사이의 불일치를 줄이기 위해 음성 및 텍스트 특징을 융합하는 통합 데이터 딜리게이션 프레임워크인 DDNet을 제안한다. DDNet은 교차 어텐션과 지식 딜리게이션을 활용하여 QA 성능을 크게 향상시키며, BERT 기반 모델에서 최대 44.8%의 EM과 59.6%의 F1을 기록하여 ASR 오류에 대한 뛰어난 내구성을 입증한다.

ABSTRACT

In spoken question answering, QA systems are designed to answer questions from contiguous text spans within the related speech transcripts. However, the most natural way that human seek or test their knowledge is via human conversations. Therefore, we propose a new Spoken Conversational Question Answering task (SCQA), aiming at enabling QA systems to model complex dialogues flow given the speech utterances and text corpora. In this task, our main objective is to build a QA system to deal with conversational questions both in spoken and text forms, and to explore the plausibility of providing more cues in spoken documents with systems in information gathering. To this end, instead of adopting automatically generated speech transcripts with highly noisy data, we propose a novel unified data distillation approach, DDNet, which directly fuse audio-text features to reduce the misalignment between automatic speech recognition hypotheses and the reference transcriptions. In addition, to evaluate the capacity of QA systems in a dialogue-style interaction, we assemble a Spoken Conversational Question Answering (Spoken-CoQA) dataset with more than 120k question-answer pairs. Experiments demonstrate that our proposed method achieves superior performance in spoken conversational question answering.

연구 동기 및 목표

• 실제 인간-기계 상호작용을 반영하기 위해 음성과 텍스트를 통합한 다중 전환 음성 대화 질의응답 데이터셋이 부족한 문제를 해결하기 위해.
• 음성 질의응답 시스템에서 자동 음성 인식(ASR) 오류로 인한 성능 저하를 완화하기 위해.
• 음성 및 텍스트 모odal이 어떻게 함께 활용되어 대화 기반 QA에서의 맥락 이해를 향상시킬 수 있는지 탐색하기 위해.
• 음성-텍스트 상호관계를 활용하여 노이즈가 있는 ASR 전사문과 기준 전사문을 정렬하는 통합 지식 딜리게이션 프레임워크를 개발하기 위해.
• 엔드 투 엔드 음성 대화 질의응답에서 모달 융합 및 딜리게이션 전략의 효과성을 평가하기 위해.

제안 방법

• ASR 가설과 기준 전사문을 공동의 음성-텍스트 특징 학습을 통해 정렬하는 학생-선생 모델 파라다임을 사용하는 새로운 데이터 딜리게이션 프레임워크인 DDNet을 제안한다.
• 교차 어텐션 메커니즘을 활용해 음성 및 텍스트 임베딩을 융합하여, 학생 모델이 두 모달에서 학습하고 불일치를 줄일 수 있도록 한다.
• 선생 모델(청정 텍스트 및 음성에서 학습)에서 학생 모델(노이즈가 있는 ASR 출력에서 학습)로 소프트 레이블 전달을 향상시키기 위해 온도 조절 지식 딜리게이션 전략을 도입한다.
• 이중 브랜치 BERT 기반 아키텍처를 활용: 하나의 브랜치는 음성 특징(로그-멜 스펙트로그램, MFCC)을, 다른 하나는 텍스트를 처리하며, 특징 연결 및 교차 어텐션 융합을 수행한다.
• 다양한 선생 모델을 사용한 지식 딜리게이션을 적용한다: 청정 텍스트에서 학습한 모델, 원시 음성에서 학습한 모델, ASR 전사문에서 학습한 모델을 각각 활용하여 학생 모델을 안내한다.
• 모달 융합의 기준으로 Con Fusion 메커니즘을 사용하고, 제안된 교차 어텐션 융합과의 비교를 분석 연구에서 수행한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 ASR 전사문과 기준 전사문 사이의 불일치를 효과적으로 줄이기 위해 통합 데이터 딜리게이션 프레임워크가 유용한가?
• RQ2 음성과 텍스트 특징을 함께 사용할 경우, 단독으로 음성 또는 텍스트 특징을 사용하는 것보다 QA 성능이 어떻게 향상되는가?
• RQ3 다양한 선생 모델(텍스트, 음성, ASR)에서의 지식 딜리게이션은 ASR 오류에 대한 QA 시스템의 내구성을 얼마나 향상시키는가?
• RQ4 음성 및 텍스트 임베딩의 교차 어텐션 융합이 단순 연결보다 음성 QA의 모달 융합에서 성능을 더 높이는가?
• RQ5 이 다중 모달, 노이즈가 있는 ASR 환경에서 지식 딜리게이션에 최적의 온도 하이퍼파라미터는 무엇인가?

주요 결과

• DDNet는 ALBERT-base 모델에서 44.8%의 EM과 59.6%의 F1 스코어를 기록하여, 딜리게이션 없이 기준 모델 대비 F1에서 3.6%p의 절대적 향상을 보였다.
• 지식 딜리게이션 전략은 FlowQA에서 F1을 3.1%p, SDNet에서 3.1%p, BERT-base에서 2.9%p 향상시켜 아키텍처 간 일관된 성능 향상을 입증했다.
• 교차 어텐션 융합 메커니즘이 단순 연결(Con Fusion) 기반 모델보다 우월하며, CoQA 개발 세트에서 1.2%p의 F1 향상과 Spoken-CoQA 테스트 세트에서 1.1%p의 F1 향상을 기록했다.
• 모든 네 가지 기준 모델(FlowerQA, SDNet, BERT, ALBERT)에서 최적의 온도 하이퍼파라미터 τ = 2가 최고의 성능을 보였으며, 분석 연구를 통해 이를 확인했다.
• 텍스트 단독 입력이 음성 단독 입력보다 성능이 뛰어나며, 이는 음성 단독 특징이 노이즈를 유발할 수 있음을 시사하고, 음성-텍스트 융합이 성능 향상에 크게 기여함을 보여준다.
• DDNet는 ASR 오류의 부정적 영향을 줄이며, 딜리게이션 적용 시 S-CoQA 테스트 세트에서 F1 상대적 향상률이 40.4%에 이르렀다.