[논문 리뷰] EchoWear: Smartwatch Technology for Voice and Speech Treatments of Patients with Parkinson's Disease

Harishchandra Dubey, Jon C. Goldberg외 3명|arXiv (Cornell University)|2015. 01. 01.

Voice and Speech Disorders참고 문헌 32인용 수 4

한 줄 요약

EchoWear는 파킨슨병(PD) 환자를 대상으로 음성 및 언어 훈련 운동을 원격으로 모니터링할 수 있도록 하는 스마트워치 기반 시스템이다. 이 시스템은 스마트워치의 마이크를 통해 임상 수준의 음향 장비와 유사한 음성 데이터를 캡처한다. 이 시스템은 음성 강도와 기본 주파수(F0)와 같은 핵심 음성 지표 측정에서 높은 신뢰성을 보이며, 임상 외 환경에서 원격 모니터링 및 치료 이행률 향상에 활용 가능하다.

ABSTRACT

About 90 percent of people with Parkinson's disease (PD) experience decreased functional communication due to the presence of voice and speech disorders associated with dysarthria that can be characterized by monotony of pitch (or fundamental frequency), reduced loudness, irregular rate of speech, imprecise consonants, and changes in voice quality. Speech-language pathologists (SLPs) work with patients with PD to improve speech intelligibility using various intensive in-clinic speech treatments. SLPs also prescribe home exercises to enhance generalization of speech strategies outside of the treatment room. Even though speech therapies are found to be highly effective in improving vocal loudness and speech quality, patients with PD find it difficult to follow the prescribed exercise regimes outside the clinic and to continue exercises once the treatment is completed. SLPs need techniques to monitor compliance and accuracy of their patients exercises at home and in ecologically valid communication situations. We have designed EchoWear, a smartwatch-based system, to remotely monitor speech and voice exercises as prescribed by SLPs. We conducted a study of 6 individuals; three with PD and three healthy controls. To assess the performance of EchoWear technology compared with high quality audio equipment obtained in a speech laboratory. Our preliminary analysis shows promising outcomes for using EchoWear in speech therapies for people with PD. Keywords: Dysarthria; knowledge-based speech processing; Parkinson's disease; smartwatch; speech therapy; wearable system.

연구 동기 및 목표

• 파킨슨병(PD) 환자들이 집에서 실시하는 음성 훈련 운동에 대한 이행도가 낮은 문제를 해결하기 위해.
• 언어청각치료사(SLP)가 임상 환경 외에서 환자의 치료 이행도와 음성 품질을 평가할 수 있도록 웨어러블 기반 원격 모니터링 솔루션을 개발하기 위해.
• 음성 실험실에서 사용하는 고해상도 음향 장비와 비교하여 스마트워치로 기록된 음성 데이터의 정확도를 검증하기 위해.
• 실시간으로 생태학적으로 타당한 환경에서 음성 훈련 운동을 모니터링함으로써, 음성 치료 효과의 장기적 일반화를 지원하기 위해.

제안 방법

• 파킨슨병(PD) 환자와 건강한 대조군으로부터 음성 운동을 기록하기 위해 단일 채널 마이크를 탑재한 스마트워치 기반 시스템(EchoWear)을 구현하였다.
• 통제된 환경에서 스마트워치(SW)와 双채널 임상 마이크(BL)를 동시에 사용하여 음성 데이터를 수집하였다.
• 기본 주파수(F0) 추정을 위해 SWIPE 알고리즘을 적용하였으며, 주파수 추적 정확도 향상을 위해 ERB(등가 직사각형 대역폭) 스케일을 활용하였다.
• 음성 신호에서 무음 구간을 제외하여 평균 F0와 음성 강도를 계산하였다. 이는 분석의 관련성과 타당성을 확보하기 위함이었다.
• 참가자 간 SW와 BL 데이터를 비교하여 핵심 음성 품질 지표에서 상관관계 및 편차를 평가하였다.
• 통계적 분석을 통해 EchoWear 데이터가 금표준 임상 기록 대비 신뢰성 있는지 평가하였다.

실험 결과

연구 질문

• RQ1 스마트워치 기반 시스템은 파킨슨병(PD) 환자에게 있어 고해상도 임상 음향 장비와 유사한 음성 데이터를 신뢰성 있게 캡처할 수 있는가?
• RQ2 기존 음성 기록 방법과 비교해 스마트워치의 기본 주파수(F0) 및 음성 강도 측정 정확도는 어느 정도인가?
• RQ3 EchoWear는 생태학적으로 타당한 환경에서 음성 치료 운동의 원격 모니터링을 어느 정도 지원할 수 있는가?
• RQ4 스마트워치 데이터는 파킨슨병 진행 상황 및 치료 결과의 장기적 추적에 충분한 일관성을 유지하는가?

주요 결과

• EchoWear는 평균 기본 주파수(F0) 측정에서 임상 수준의 음향 장비와 높은 상관관계를 보였으며, 스마트워치 기록과 기준 기록 간 최대 편차는 9.35% 이내였다.
• 스마트워치에서 측정한 음성 강도와 F0는 이중 채널 임상 마이크 측정 결과와 유사하여 데이터 신뢰성이 높음을 시사하였다.
• ERB 스케일 변환을 적용한 SWIPE 알고리즘은 낮은 진폭의 무음 구간에서도 정확한 F0 추정을 가능하게 하였다.
• 시스템은 평균 F0 계산에서 무음을 제외하여 관련성 있고 의미 있는 지표를 확보하였다.
• Mono 채널 음성 출력을 통해 스마트워치의 성능 저하가 이중 채널 임상 시스템 대비 최소화되었으며, 이는 실제 환경에서의 활용 가능성을 검증하였다.
• 결과적으로 소비자용 스마트워치를 활용한 원격 음성 치료 모니터링의 실현 가능성을 뒷받침하며, 원격 SLP 추적 관리에 기여할 수 있다.