[논문 리뷰] Acoustic Correlates of the Voice Qualifiers: A Survey

Shahan Ali Memon|arXiv (Cornell University)|2020. 10. 29.

Voice and Speech Disorders참고 문헌 46인용 수 8

한 줄 요약

이 논문은 숨소리, 캬우스니스, 속삭임과 같은 비어벌성 음성 특성(음성 품질)의 청각적 관련 요소를 조사하며, 청각적 특징과 측정 가능한 음성 파arameter 및 openSMILE 특징을 연결한다. 검증된 음성 파arameter와 특징 세트를 사용하여 감정, 성격, 건강 상태와 같은 부언적 추론과 음성 품질을 연결하는 종합적인 기준을 수립한다.

ABSTRACT

Our voices are as distinctive as our faces and fingerprints. There is a spectrum of non-disjoint traits that make our voices unique and identifiable, such as the fundamental frequency, the intensity, and most interestingly the quality of the speech. Voice quality refers to the characteristic features of an individual's voice. Previous research has from time-to-time proven the ubiquity of voice quality in making different paralinguistic inferences. These inferences range from identifying personality traits, to health conditions and beyond. In this manuscript, we first map the paralinguistic voice qualifiers to their acoustic correlates in the light of the previous research and literature. We also determine the openSMILE correlates one could possibly use to measure those correlates. In the second part, we give a set of example paralinguistic inferences that can be made using different acoustic and perceptual voice quality features.

연구 동기 및 목표

• 기존 문헌을 바탕으로 청각적 음성 품질을 그 음성 관련 요소와 체계적으로 연결하기.
• 음성 품질 파aram터를 측정하는 데 신뢰할 수 있는 대체 측정치로 기능하는 openSMILE 특징을 특정하기.
• 음성 품질의 음성 특징이 어떻게 화자 특성과 정서 상태를 추론하는 데 사용될 수 있는지 보여주기.
• 음성 기술, 정서 컴퓨팅, 음성 병리학 분야의 연구자들에게 기초 틀을 제공하기.
• 기계 학습 응용을 위해 청각적 음성 품질을 측정 가능하고 계산 가능한 음성 특징으로 연결하기.

제안 방법

• 16개의 음성 품질(예: 숨소리, 캬우스니스, 글롯시스)에 대한 기존 문헌에서 확인된 음성 관련 요소를 식별하기 위해 문헌 리뷰 수행.
• 각 음성 품질을 그 생리학적 기초와 청각적 정의와 연결한 후, F0, HNR, 잼블러, 스펙트럼 기울기 등 관련 음성 단서 식별.
• 식별된 음성 특징을 실제 음성 분석 파이프라인에 적용하기 위해 openSMILE 특징 세트에 매핑.
• 표 1을 활용해 음성 품질, 정의, 생리적 원인, 음성 관련 요소, 해당 openSMILE 특징을 교차 참조.
• 이전 연구의 음성 품질 청각 인식 및 음성 모델링 결과와의 일치를 통해 매핑 검증.
• 표 2에 포함된 바와 같이, 음성 특징을 확장하여 자신감, 따뜻함, 매력성과 같은 특성에 대한 부언적 추론 가능하게 연결.

실험 결과

연구 질문

• RQ1 숨소리, 캬우스니스, 속삭임과 같은 청각적 음성 품질과 신뢰할 수 있는 관련 요소를 가지는 음성 특징은 무엇인가?
• RQ2 openSMILE 특징을 어떻게 사용하여 음성 품질 특성을 계산적으로 측정하고 분류할 수 있는가?
• RQ3 화자 특성(예: 자신감, 따뜻함, 매력성)을 음성 품질에서 추론하는 데 필요한 음성 단서는 무엇인가?
• RQ4 캐러스니스나 떨림 있는 음성과 같은 음성 품질은 병리적 상태나 정서 상태와 어떻게 관련이 있는가?
• RQ5 다양한 화자 상태와 음성 행동에 걸쳐 음성 품질에 대한 통합된 음성 관련 요소 틀을 수립할 수 있는가?

주요 결과

• 숨소리 음성은 높은 스펙트럼 기울기(12 dB/옥타브 이상), 낮은 HNR, 높은 H1-H2, 2–5 kHz 대비 5–8 kHz 대역에서 증가한 에너지를 특징으로 한다.
• 캐러스니스 음성은 낮은 F0, 불규칙한 피치, 높은 고조파 대비 고조파 비율(SHR), 특히 H1-H2 및 H1-A3 측정치에서 감소한 고조파 진폭을 특징으로 한다.
• 글롯시스 음성은 내림차순 스펙트럼 기울기, F1 진폭 감소, 증가한 스펙트럼 기울기로 특징지어지며, 이는 openSMILE의 mfcc 및 스펙트럼 기울기 특징을 통해 측정 가능하다.
• 자신감과 열정은 높은 F0, 증가한 스펙트럼 에너지, 높은 제로 크로싱 레이트와 관련이 있으며, 이는 openSMILE의 F0 및 pcm_RMSenergy 특징을 통해 감지 가능하다.
• 남성 화자에서 성숙도와 매력성은 낮은 중앙값 F0, 높은 F0 범위, 더 큰 F3 대역폭 변동성과 관련이 있으며, F0semitoneFrom27.5Hz 및 대역폭 표준편차 특징을 통해 측정 가능하다.
• 여성 화자에서는 매력성과 자신감이 높은 F0 범위, 높은 F1, 낮은 평균 스펙트럼 기울기(0–500 Hz)와 관련이 있으며, openSMILE 특징인 slopeV0500_sma3nz_amean 및 F1frequency_sma3nz_amean가 핵심 단서를 제공한다.