[논문 리뷰] Glottal Closure Instants Detection From Pathological Acoustic Speech Signal Using Deep Learning

M Gurunath Reddy, Tanumay Mandal외 1명|arXiv (Cornell University)|2018. 11. 25.

Voice and Speech Disorders참고 문헌 15인용 수 14

한 줄 요약

이 논문은 원시 음향 신호와 선형 예측 잔여 신호(LPR) 특징을 융합한 다중 컬럼 컨volutional 네트워크(CNN) 아키텍처를 사용하여 병리성 음성에서 성문 폐쇄 순간(GCI)을 검출하기 위한 딥러닝 기반 방법을 제안한다. 제안된 방법은 새로운 병리성 음성 데이터셋(수동으로 GCI 레이블이 부여된)에서 89.30%의 식별률과 0.54ms의 정밀한 시계열 정확도를 달성하여 기존 최고 수준의 방법들을 뛰어넘는 성능을 보였다.

ABSTRACT

In this paper, we propose a classification based glottal closure instants (GCI) detection from pathological acoustic speech signal, which finds many applications in vocal disorder analysis. Till date, GCI for pathological disorder is extracted from laryngeal (glottal source) signal recorded from Electroglottograph, a dedicated device designed to measure the vocal folds vibration around the larynx. We have created a pathological dataset which consists of simultaneous recordings of glottal source and acoustic speech signal of six different disorders from vocal disordered patients. The GCI locations are manually annotated for disorder analysis and supervised learning. We have proposed convolutional neural network based GCI detection method by fusing deep acoustic speech and linear prediction residual features for robust GCI detection. The experimental results showed that the proposed method is significantly better than the state-of-the-art GCI detection methods.

연구 동기 및 목표

• 병리성 음성에서 신뢰할 수 있는 GCI 검출 방법의 부족을 해결하기 위해, 일반적으로 침습적인 EGG 신호에 의존하는 기존 방법의 한계를 극복하고자 한다.
• 수동적인 파rameter 조정과 수작업으로 설계된 히وري스틱을 피하는 데이터 기반의 엔드 투 엔드 딥러닝 접근법을 개발하고자 한다.
• 스마트폰이나 저비용 장치를 통해 기록된 표준 음성 신호에서 직접 GCI 검출을 가능하게 하고자 한다.
• 연구 검증을 위한 동시에 EGG와 음성 신호를 기록한 새로운 병리성 음성 데이터셋을 구축하고자 한다.
• 비정상적인 성문 운동으로 인한 약한 또는 흐릿한 성문 자극에 대비하여 검출 정확도와 강인성을 향상시키고자 한다.

제안 방법

• 다중 컬럼 3D-CNN 아키텍처를 사용하며, 각 컬럼은 서로 다른 입력 표현을 처리한다: 저역통과 필터링된 음성(LPFS), 저역통과 필터링된 LPR(LPFLPR), 그리고 양극성 클리핑된 양쪽 신호의 복제본.
• 각 CNN 블록은 배치 정규화를 적용한 다섯 개의 컨volution 레이어로 구성되며, GCI 영역의 미세한 시간적 변동을 유지하기 위해 맥스 풀링을 생략한다.
• 최종 레이어는 각 프레임에 대해 GCI 분류를 위한 사후 확률을 출력하기 위해 시그모이드 활성화 함수를 사용한다.
• 최종적으로, 음성(LPFS)과 잔여 신호(PC_LPFLPR) 브랜치의 특징을 최대우도 결합을 통해 후기 융합하여 공동 모델을 구성한다.
• 최종 GCI는 식별 확률 ≥ 0.1로 분류된 프레임 내에서 최대 음성 피크 위치로 식별한다.
• 모델는 30 에포크 동안 He 정규화 가중치 초기화와 ADAM 옵timizer를 사용한 이진 교차 엔트로피 손실 함수로 훈련된다.

실험 결과

연구 질문

• RQ1 원시 음향 및 LPR 특징을 기반으로 훈련된 딥러닝 모델이 기존 신호 처리 기반 방법보다 병리성 음성에서 GCI를 더 정확하게 검출할 수 있는가?
• RQ2 음성과 잔여 특징을 융합함으로써 다양한 성문 장애에 걸쳐 GCI 검출의 강인성이 향상되는가?
• RQ3 제안된 방법은 SEDREAMS, DYPSA, ZFF와 같은 최고 수준의 GCI 검출 기술과 비교해 식별률, 누락률, 시계열 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 한 가지 딥러닝 모델이 장애 유형에 따라 특별히 튜닝되지 않은 채로 다양한 성문 장애에 일반화될 수 있는가?
• RQ5 음성 및 LPR 신호의 양극성 클리핑과 저역통과 필터링이 병리적 경우에서 GCI 검출 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 식별률(IDR) 89.30%를 달성하여 SEDREAMS(84.98%), DYPSA(79.33%), ZFF(80.88%)를 뛰어넘었다.
• 누락률(MR)은 5.97%로, SEDREAMS(9.06%), DYPSA(13.42%), ZFF(10.64%)보다 낮아 GCI 이벤트 누락이 적음을 시사한다.
• 거짓 경고율(FAR)은 4.70%로, SEDREAMS(6.01%), DYPSA(7.25%), ZFF(8.48%)보다 낮아 특이도가 향상됨을 보여준다.
• 식별 정확도(IDA)는 0.54ms로 모든 방법 중에서 가장 낮아 GCI 위치 식별의 고정밀도를 입증한다.
• 모델 1(LPFS)은 개별 F1-스코어가 가장 높은 86.82%를 기록했고, 모델 4(PC_LPFLPR)는 제2의 자극을 억제함으로써 거짓 경고를 최소화하였다.
• LPFS와 PC_LPFLPR 특징을 최대우도 결합을 통해 후기 융합한 결과가 가장 우수한 전체 성능을 보였으며, 음성과 잔여 표현 간 상호보완적 이점을 확인하였다.