[논문 리뷰] Deep Graph Random Process for Relational-Thinking-Based Speech Recognition

Hengguan Huang, Fuzhao Xue외 2명|arXiv (Cornell University)|2020. 07. 04.

Speech Recognition and Synthesis인용 수 8

한 줄 요약

이 논문은 음성 인식에서 관계적 지각을 모델링하기 위해 무한한 확률적 그래프를 생성하는 베이지안 비모수적 방법인 딥 그래프 랜덤 프로세스(DGP)를 제안한다. 명시적인 관계 감독 없이 종단간 관계 추론을 가능하게 하여 CHiME-2 및 CHiME-5 벤치마크에서 최신 기술 성능을 달성하며, 감지 가능한 그래프의 폐쇄형 결합 및 변환을 통해 소음이 많고 대화식 음성 인식 환경에서 뛰어난 내구성을 입증한다.

ABSTRACT

Lying at the core of human intelligence, relational thinking is characterized by initially relying on innumerable unconscious percepts pertaining to relations between new sensory signals and prior knowledge, consequently becoming a recognizable concept or object through coupling and transformation of these percepts. Such mental processes are difficult to model in real-world problems such as in conversational automatic speech recognition (ASR), as the percepts (if they are modelled as graphs indicating relationships among utterances) are supposed to be innumerable and not directly observable. In this paper, we present a Bayesian nonparametric deep learning method called deep graph random process (DGP) that can generate an infinite number of probabilistic graphs representing percepts. We further provide a closed-form solution for coupling and transformation of these percept graphs for acoustic modeling. Our approach is able to successfully infer relations among utterances without using any relational data during training. Experimental evaluations on ASR tasks including CHiME-2 and CHiME-5 demonstrate the effectiveness and benefits of our method.

연구 동기 및 목표

• 감각 지각를 동적이고 관계적인 그래프로 표현하여 인간과 유사한 관계적 사고를 음성 인식에 구현한다.
• 레이블이 부여된 관계 데이터가 필요 없이 실제 음성 인식 환경에서 수많고 관측되지 않는 지각 관계를 모델링하는 과제를 해결한다.
• 음성 모델의 종단간 학습을 지원하는 확장 가능하고 미분 가능한 프레임워크를 개발한다.
• 개선된 음성 인식 성능를 위해 지각 그래프의 효과적인 결합 및 변환을 가능하게 한다.

제안 방법

• 무한한 그래프 구조 지각에 대한 베이지안 비모수적 사전분포를 적용하여, 무제한의 관계 표현을 생성할 수 있도록 모델을 설계한다.
• 감지 그래프 생성을 깊이 있는 가우시안 프로세스로 설정하며, 그래프 노드 및 간선에 대한 확률적 과정을 활용해 불확실성과 관계적 구조를 포착한다.
• 감지 그래프의 변환 및 결합을 위한 폐쇄형 해를 유도하여, 명시적인 관계 감독 없이도 효율적인 종단간 학습을 가능하게 한다.
• 관계적 특징을 문장 간에 집계하는 미분 가능한 메시지 전달 메커니즘을 통해 그래프 기반 표현을 음성 모델링에 통합한다.
• 잠재 그래프 구조의 사후분포를 근사하기 위해 변분 추론을 사용하여 프레임워크를 종단간으로 훈련한다.
• 프레임워크는 그래프 구조가 문장 간의 관계적 의존성을 인코딩하도록 순차적 모델링에 적용된다.

실험 결과

연구 질문

• RQ1 명시적인 관계 감독 없이도 관계적 지각의 딥 생성 모델이 소음이 많고 대화식 환경에서 음성 인식 성능을 향상시킬 수 있는가?
• RQ2 무한하고 비모수적 그래프 프로세스는 음성에서 관측되지 않는 무의식적 지각 관계를 어떻게 모델링할 수 있는가?
• RQ3 그래프 결합을 통한 관계적 추론은 실제 음성 인식 작업에서 음성 모델링 성능에 어떤 영향을 미치는가?
• RQ4 그래프 변환을 위한 폐쇄형 해는 딥 러닝에서 효율적이고 확장 가능한 관계적 추론을 가능하게 하는가?
• RQ5 다양한 소음 수준과 화자 구성이 존재하는 다양한 대화 음성 시나리오에서 모델은 어떻게 일반화되는가?

주요 결과

• 제안된 DGP 모델은 CHiME-2 및 CHiME-5 벤치마크에서 최신 기술 성능을 달성하며, 소음이 많고 다자간 음성 인식에서 강력한 베이스라인을 능가한다.
• 훈련 중에 어떤 관계 주석도 필요 없이 단어 오류율(WER)에서 뚜렷한 향상을 보이며, 비감독 관계 추론의 효과성을 입증한다.
• 그래프 결합을 위한 폐쇄형 해는 복잡한 그래프 공간에서 샘플링 기반 추론이 필요 없이 효율적이고 안정적인 훈련을 가능하게 한다.
• DGP의 베이지안 비모수적 성격 덕분에 입력 데이터에 따라 관계 표현의 복잡도를 적응적으로 조정할 수 있어 일반화 성능이 향상된다.
• 제거 실험 결과는 그래프 구조를 통한 관계적 추론이 환경적 소음과 화자 변동에 대한 저항력을 크게 향상시킨다는 점을 확인한다.