[논문 리뷰] Speaker identification from the sound of the human breath

Wenbo Zhao, Yang Gao외 1명|arXiv (Cornell University)|2017. 12. 01.

Speech Recognition and Synthesis참고 문헌 15인용 수 10

한 줄 요약

이 논문은 말하는 동안의 숨결 소리가 말하는 사람의 고유한 생체정보를 담고 있으며, constant-Q 스펙트로그램과 딥러닝을 사용해 정확한 발화자 식별이 가능하다는 것을 입증한다. CNN-LSTM 프레임워크를 통해 44명의 발화자 데이터셋에서 91.3%의 정확도를 달성했으며, 가면이나 위장 수단에 강건하고 자연스러운 변동성이 있기 때문에 이는 법의학적 및 생체인식 응용 분야에 실현 가능하다는 것을 증명한다.

ABSTRACT

This paper examines the speaker identification potential of breath sounds in continuous speech. Speech is largely produced during exhalation. In order to replenish air in the lungs, speakers must periodically inhale. When inhalation occurs in the midst of continuous speech, it is generally through the mouth. Intra-speech breathing behavior has been the subject of much study, including the patterns, cadence, and variations in energy levels. However, an often ignored characteristic is the {\em sound} produced during the inhalation phase of this cycle. Intra-speech inhalation is rapid and energetic, performed with open mouth and glottis, effectively exposing the entire vocal tract to enable maximum intake of air. This results in vocal tract resonances evoked by turbulence that are characteristic of the speaker's speech-producing apparatus. Consequently, the sounds of inhalation are expected to carry information about the speaker's identity. Moreover, unlike other spoken sounds which are subject to active control, inhalation sounds are generally more natural and less affected by voluntary influences. The goal of this paper is to demonstrate that breath sounds are indeed bio-signatures that can be used to identify speakers. We show that these sounds by themselves can yield remarkably accurate speaker recognition with appropriate feature representations and classification frameworks.

연구 동기 및 목표

• 말 중 숨결 소리가 신뢰할 만한 식별을 위해 충분한 발화자 고유 정보를 포함하고 있는지 조사하기 위해.
• 말소리와는 별개로 숨결 소리를 생체인식 서명으로 사용하는 것이 가능한지 평가하기 위해.
• 전통적인 i-vector 방법과 딥러닝(CNN-LSTM) 방법을 비교하여 숨결 기반 발화자 식별에 대해 평가하기 위해.
• 특히 법의학적 맥락에서 숨결 소리가 위장이나 모조 행위에 얼마나 강건한지 평가하기 위해.
• 의도적으로 제어되지 않는 숨결 특징이 안정적이고 불변하는 생체인식 특징 세트를 제공한다는 것을 입증하기 위해.

제안 방법

• 말의 구간 사이의 빠르고 입을 열어 빨아들이는 숨결 소리를 연속된 말 기록에서 추출하였다.
• 1옥타브당 48개의 필터를 사용해 청각적으로 관련 있는 주파수 해상도를 유지하는 방식으로, 숨결 신호를 constant-Q 스펙트로그램으로 변환하였다.
• 모든 발화자 내에서 음고 변화를 보정하기 위해 탄성 변형(σ=2, α=15)을 사용한 데이터 증강 기법을 적용하였다.
• 입력 크기 463×T인 CNN-LSTM 신경망을 훈련시켰으며, 첫 번째 은닉층에는 ReLU, 두 번째 은닉층에는 Sigmoid를 사용하고, 출력층에는 소프트맥스를 사용하였다.
• 배치 크기 1로 학습을 진행하고, 검증 손실 기반 조기 정지 기법을 사용하여 과적합을 방지하기 위해 Adadelta 최적화기를 사용하였다.
• 각 발화자별로 70% 훈련, 20% 검증, 10% 테스트로 분할하여 성능을 평가하였으며, 하이퍼파라미터 튜닝을 위해 교차검증을 사용하였다.

실험 결과

연구 질문

• RQ1 말 중 숨결 소리는 신뢰할 만한 식별 목적을 위해 발화자 고유 정보를 안정적으로 반영할 수 있는가?
• RQ2 i-vector와 딥러닝(CNN-LSTM) 방법 간의 숨결 기반 발화자 식별 성능는 어떻게 비교되는가?
• RQ3 숨결 소리는 위장이나 모조 행위에 얼마나 저항성이 있으며, 법의학적 응용에 적합한가?
• RQ4 음고 및 진폭 변화가 있더라도 constant-Q 스펙트로그램이 숨결 소리 특징을 효과적으로 표현할 수 있는가?
• RQ5 CNN-LSTM 아키텍처가 시간적 특징과 이동 불변 특징을 자동으로 학습함으로써 발화자 식별 정확도를 향상시키는가?

주요 결과

• CNN-LSTM 프레임워크는 단지 숨결 소리만을 사용해 44명의 발화자 데이터셋에서 91.3%의 발화자 식별 정확도를 달성했으며, 최소한의 사전 가정으로도 높은 성능을 보였다.
• i-vector 기반 방법은 LDA + SVM를 사용해 최대 74.1%의 정확도를 기록했으며, 숨결 소리가 측정 가능한 발화자 고유 특징을 담고 있음을 확인했다.
• CNN-LSTM 및 i-vector 방법의 ROC 곡선은 모두 높은 AUC 값을 보였으며, 이는 발화자 확인 응용 분야에 실질적인 구현 가능성을 시사한다.
• 다양한 발화자 간에 명확한 형성주파수 패턴(F1, F2, F3)이 존재했으며, 특히 모조 행위 시에도 시각적 스펙트로그램에서 고유한 발화자 고유의 공진 패턴이 드러났다.
• 제안된 방법은 분포 가정이 필요 없으며, 짧은 녹음에서도 효과적이며, 신경망이 자동으로 시간적 및 불변 특징을 학습할 수 있기 때문이다.
• 음성 모조 행위자조차도 도널드 트럼프의 말을 매우 유사하게 모방했음에도 불구하고, 그들의 숨결 소리는 여전히 고유하게 식별 가능했으며, 이는 숨결이 생체인식 수단으로서 강건함을 입증한다.