[논문 리뷰] Deep factorization for speech signal

Lantian Li, Dong Wang외 4명|arXiv (Cornell University)|2018. 02. 27.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 깊이 신경망을 사용하여 음성 신호를 언어적 내용, 화자 특성, 정서와 같은 개별 작업 중심 성분으로 순차적으로 인수분해하는 계단식 딥 인수분해(Cascaded Deep Factorization, CDF) 프레임워크를 제안한다. 이후에 추론된 인수에 조건을 부여함으로써, 음성 스펙트럼의 고해상도 재구성과 정서 및 화자 인식 작업에서의 성능 향상을 크게 달성한다.

ABSTRACT

Various informative factors mixed in speech signals, leading to great difficulty when decoding any of the factors. An intuitive idea is to factorize each speech frame into individual informative factors, though it turns out to be highly difficult. Recently, we found that speaker traits, which were assumed to be long-term distributional properties, are actually short-time patterns, and can be learned by a carefully designed deep neural network (DNN). This discovery motivated a cascade deep factorization (CDF) framework that will be presented in this paper. The proposed framework infers speech factors in a sequential way, where factors previously inferred are used as conditional variables when inferring other factors. We will show that this approach can effectively factorize speech signals, and using these factors, the original speech spectrum can be recovered with a high accuracy. This factorization and reconstruction approach provides potential values for many speech processing tasks, e.g., speaker recognition and emotion recognition, as will be demonstrated in the paper.

연구 동기 및 목표

• 음성 신호에 혼합된 정보성 요소들(예: 화자 신원, 정서, 언어적 내용) 간의 복잡한 혼합 문제를 해결하기 위해.
• 복잡한 요소 혼합에도 불구하고, 음성 신호를 프레임 수준에서 효과적으로 인수분해할 수 있는지 조사하기 위해.
• 주요 인수의 조건부 추론을 활용하여, 정서 인식과 같은 저자료 또는 어려운 음성 처리 과제에서의 성능 향상을 위해.
• 음성 신호가 인수분해된 성분들로부터 고해상도로 재구성될 수 있음을 입증하여, 인수분해의 정보 보존 능력을 검증하기 위해.

제안 방법

• CDF 프레임워크는 인수를 순차적 계단식으로 추론한다: 언어적 내용은 먼저 ASR 시스템을 사용해 키포스트로리(phonetic posteriors)를 추출함으로써 추출된다.
• 그 후 언어적 인수가 화자 인식 시스템(SRE)의 조건부 입력으로 사용되며, CT-DNN 아키텍처를 통해 프레임 수준의 화자 특징을 생성한다.
• 결과적으로 생성된 언어적 및 화자 인수는 연결되어 DNN에 입력되어 프레임 수준의 정서 포스터리어를 추론한다.
• 계단식 컨볼루션 모델이 세 가지 종류의 인수를 사용해 원본 음성 스펙트럼을 재구성하며, 훈련에 평균 제곱오차 손실을 사용한다.
• 각 인수가 이전에 추론된 인수에 기반하여 조건부로 추론되는 조건부 모델링 접근법을 사용함으로써 불확실성을 감소시킨다.
• CT-DNN 아키텍처는 컨볼루션 및 시간 지연층을 조합하고 P-노름 풀링을 사용하여 분류 가능한 짧은 시간 화자 특징을 추출한다.

실험 결과

연구 질문

• RQ1 음성 신호가 프레임 수준에서 언어적, 화자, 정서적 등의 개별 정보성 성분들로 효과적으로 인수분해될 수 있는가?
• RQ2 더 두드러진 인수들(예: 화자, 언어적 내용)에 기반하여 덜 두드러진 인수들(예: 정서)을 조건부로 추론함으로써 성능 향상이 이루어지는가?
• RQ3 원본 음성 스펙트럼이 인수분해된 성분들로부터 얼마나 정밀하게 재구성될 수 있는가?
• RQ4 정서 및 화자 인식 과제에서 CDF 접근법이 기준 모델보다 어떻게 비교되는가?
• RQ5 복잡한 음성 인수분해에 있어서, 계단식 추론 전략이 독립적 인수분해나 엔드 투 엔드 학습보다 더 효과적인가?

주요 결과

• 언어적 및 화자 인수를 조건부로 사용할 경우, 정서 인식 과제에서 CDF 접근법은 94.59%의 프레임 수준 정확도와 92.98%의 매크로 평균 정밀도(MAP)를 달성했다.
• 평가 세트에서 CDF 모델이 두 조건부를 모두 사용한 결과, 27.32%의 프레임 수준 정확도와 29.42%의 MAP를 기록했으며, 기준 모델의 23.39%와 21.08%보다 유의미하게 높았다.
• 검증 세트에서 스펙트럼 재구성 손실이 15,285.70에서 192.50으로 감소했고, 평가 손실은 196.56로 나타나 재구성의 고정밀도를 보여주었다.
• 청취 테스트 결과 재구성된 음성이 원본 음성과 거의 구분되지 않음을 확인하여, 효과적인 정보 보존이 이루어졌음을 입증했다.
• 정서 인식 과제에서 화자 인수가 언어적 인수보다 더 큰 성능 향상 기여를 했으며, 이는 화자 특성이 강력한 조건부 사전 지식임을 시사한다.
• 8 kHz 대신 16 kHz 음성 데이터를 사용함에도 불구하고, CDF 프레임워크는 MEC 2016 기준 모델을 초월하여 성능을 냈으며, 이는 강건성과 효과성을 입증한다.