[논문 리뷰] Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition

Shih‐Hsuan Chiu, Tien-Hong Lo외 2명|arXiv (Cornell University)|2021. 06. 13.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 대화형 음성 인식에서 역사적 발화 간의 전역적 종속성을 모델링하기 위해 BERT와 그래프 컬러션 네트워크(GCN)를 결합한 새로운 크로스-유저런스 재정렬 프레임워크를 제안한다. 이전 발화를 그래프로 표현하고 GCN를 사용해 관계 기반 단어 임베딩을 추출함으로써 BERT 기반 재정렬 성능을 향상시켰으며, 한 개의 이전 발화를 사용할 경우 BERT만 사용하는 것에 비해 상대적 WER 감소율이 1.3%에 달한다.

ABSTRACT

How to effectively incorporate cross-utterance information cues into a neural language model (LM) has emerged as one of the intriguing issues for automatic speech recognition (ASR). Existing research efforts on improving contextualization of an LM typically regard previous utterances as a sequence of additional input and may fail to capture complex global structural dependencies among these utterances. In view of this, we in this paper seek to represent the historical context information of an utterance as graph-structured data so as to distill cross-utterances, global word interaction relationships. To this end, we apply a graph convolutional network (GCN) on the resulting graph to obtain the corresponding GCN embeddings of historical words. GCN has recently found its versatile applications on social-network analysis, text summarization, and among others due mainly to its ability of effectively capturing rich relational information among elements. However, GCN remains largely underexplored in the context of ASR, especially for dealing with conversational speech. In addition, we frame ASR N-best reranking as a prediction problem, leveraging bidirectional encoder representations from transformers (BERT) as the vehicle to not only seize the local intrinsic word regularity patterns inherent in a candidate hypothesis but also incorporate the cross-utterance, historical word interaction cues distilled by GCN for promoting performance. Extensive experiments conducted on the AMI benchmark dataset seem to confirm the pragmatic utility of our methods, in relation to some current top-of-the-line methods.

연구 동기 및 목표

• 대화형 ASR에서 다수의 발화 간 전역적 구조적 종속성을 포착하지 못하는 순환 언어 모델의 한계를 해결하기 위해.
• 음성 인식을 위한 크로스-유저런스 관계를 모델링하는 데에 미처 활용되지 않은 그래프 컬러션 네트워크(GCN)의 잠재력을 탐색하기 위해.
• GCN로 추출한 전역적 맥락을 BERT의 문맥 표현과 통합하여 N-best 가설 재정렬을 향상시키기 위해.
• 기존의 RNN/LSTM 기반 언어 모델에 비해 BERT와 GCN를 조합함으로써 벤치마크 대화형 ASR 작업에서 더 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 목표 발화의 역사적 맥락을 그래프로 표현하며, 노드는 단어이고, 간선은 어텐션 점수에서 유도된 의미적 또는 문법적 관계로 설정한다.
• 그래프 컬러션 네트워크(GCN)를 적용하여 그래프 내에서 정보를 전파하고 집계함으로써 역사적 단어의 문맥화된 GCN 임베딩을 생성한다.
• GCN 임베딩을 BERT의 문맥 표현과 연결하여 재정렬 모델의 입력 특징으로 통합한다.
• N-best 가설 재정렬을 분류 작업으로 설정하며, BERT를 사용해 국소적 단어 패tern과 전역적 크로스-유저런스 맥락을 기반으로 가장 가능성 있는 가설을 예측한다.
• AMI 미팅 코퍼스에서 WER를 주 평가 지표로 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 두 가지 변형을 평가한다: PBERT+GCN(역사에 GCN 적용)과 HPBERT+GCN(GCN로 강화된 역사 표현을 BERT에 입력).

실험 결과

연구 질문

• RQ1 GCN는 대화형 음성 인식에서 다수의 이전 발화 간 단어들 사이의 전역적 구조적 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 BERT에 GCN 유래 임베딩을 통합하면 기존의 RNN 또는 LSTM 기반 언어 모델에 비해 N-best 가설 재정렬 성능이 향상되는가?
• RQ3 GCN 기반 역사 모델링에 사용하는 이전 발화의 수가 ASR 성능에 어떤 영향을 미치는가?
• RQ4 BERT의 국소적 맥락 모델링과 GCN의 전역적 관계 학습 간에 상호 보완적인 정보가 존재하는가?

주요 결과

• 한 개의 이전 발화를 사용하는 PBERT+GCN는 PBERT만 사용할 경우에 비해 상대적 WER 감소율 1.3%를 기록하며, GCN가 크로스-유저런스 종속성을 포착하는 데 효과적임을 입증한다.
• PBERT+GCN(1)의 WER는 16.26%이며, PBERT의 16.48%보다 낮고, LSTM(17.27%) 및 BLSTM(17.00%) 기준선보다도 뚜렷이 우수하다.
• HPBERT+GCN는 항상 HPBERT보다 우수하며, HPBERT(10)+GCN(10)은 WER 16.13%를 기록하여 HPBERT(10)의 16.25% 대비 0.12%의 절대적 향상률을 보였다.
• GCN의 성능 향상은 단일 이전 발화를 사용할 경우 가장 두드러지며, 더 긴 맥락에 과적합되지 않고도 중요한 전역적 구조를 효과적으로 포착함을 시사한다.
• BERT 기반 재정렬 프레임워크는 N=40개의 가설에서 최대 상대적 향상률을 기록하며, 커버리지와 정확성 사이의 최적 균형을 이룬다.
• BERT와 GCN의 조합은 일관된 WER 향상으로부터 상호 보완적 성능 향상을 입증하며, 다양한 설정에서 뚜렷한 개선 효과를 보였다.