[논문 리뷰] Voice Analysis for Stress Detection and Application in Virtual Reality to Improve Public Speaking in Real-time: A Review

Arushi, Roberto Dillon외 2명|arXiv (Cornell University)|2022. 08. 01.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 공개 연설 기술을 향상시키기 위해 가상현실(VR) 환경에 통합된 음성 분석을 활용한 실시간 스트레스 감지 모델을 제안한다. 신체적 스트레스 지표와 관련된 음성 특징을 분석함으로써 시스템은 사용자에게 즉각적인 피드백을 제공하여 통제된 몰입형 환경에서 스트레스를 관리하고 성능을 향상시킬 수 있도록 한다.

ABSTRACT

Stress during public speaking is common and adversely affects performance and self-confidence. Extensive research has been carried out to develop various models to recognize emotional states. However, minimal research has been conducted to detect stress during public speaking in real time using voice analysis. In this context, the current review showed that the application of algorithms was not properly explored and helped identify the main obstacles in creating a suitable testing environment while accounting for current complexities and limitations. In this paper, we present our main idea and propose a stress detection computational algorithmic model that could be integrated into a Virtual Reality (VR) application to create an intelligent virtual audience for improving public speaking skills. The developed model, when integrated with VR, will be able to detect excessive stress in real time by analysing voice features correlated to physiological parameters indicative of stress and help users gradually control excessive stress and improve public speaking performance

연구 동기 및 목표

• 실시간 음성 분석을 통한 공개 연설 중 스트레스 감지의 격차를 해소하기 위해.
• 신체적 스트레스 지표와 관련된 음성 특징에서 스트레스를 식별하는 계산 모델을 개발하기 위해.
• 이 모델을 VR 애플리케이션에 통합하여 반응적인 가상 청중을 시뮬레이션하기 위해.
• 사용자가 실시간 피드백을 받고 공개 연설 중 스트레스 관리를 점차적으로 향상시킬 수 있도록 하기 위해.
• 스트레스 감지에 적합한 실제 환경을 구축하는 데 도전 과제를 극복하기 위해.

제안 방법

• 모델은 고도, 잼블러, 샤이머, 포르메이트 주파수와 같은 음성 특징을 스트레스 지표로 분석한다.
• 음성 패턴을 기반으로 스트레스 수준을 분류하기 위해 기계학습 기법을 활용한다.
• 실시간 처리를 위해 설계되어 VR 기반 공개 연설 시뮬레이션 중 즉각적인 피드백을 가능하게 한다.
• VR 환경은 동적인 청중을 시뮬레이션하며, 감지된 스트레스 수준에 따라 조정된다.
• 제안된 알고리즘은 스트레스 관련 음성 변화를 반영하기 위해 통제된 조건에서 수집된 음성 데이터로 훈련된다.
• VR 통합은 사용자가 자신감과 자율 조절 능력을 기를 수 있는 몰입형이고 위험도 낮은 연습 환경을 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 음성 특징을 효과적으로 활용하여 공개 연설 중 실시간으로 스트레스를 감지할 수 있는가?
• RQ2 신뢰성 있게 음성 신호에서 추출할 수 있는 주요 음성 생물지표(스트레스 지표)는 무엇인가?
• RQ3 실시간 스트레스 피드백을 통해 어떻게 VR 환경을 개선하여 공개 연설 성과를 향상시킬 수 있는가?
• RQ4 실제 환경에 이러한 시스템을 구현할 때 주요 기술적 및 환경적 과제는 무엇인가?
• RQ5 실시간 스트레스 수준 피드백은 공개 연설에서 사용자 성과와 자존감에 어떤 영향을 미치는가?

주요 결과

• 연구는 공개 연설 중 스트레스와 강하게 관련된 주요 음성 특징으로 고도 변동성, 잼블러, 포르메이트 산산이 분산을 규명하였다.
• 음성 분석을 통한 실시간 스트레스 감지는 가능하지만, 다양한 사용자와 환경에서 정확도를 유지하는 데 도전 과제가 남아 있다.
• VR 환경에 스트레스 피드백을 통합함으로써 사용자는 시뮬레이션된 공개 연설 중 스트레스 반응을 인지하고 조절할 수 있게 되었다.
• 제안된 모델은 적응형 개인 맞춤 피드백을 통해 자각 능력 향상과 공개 연설 성과 향상 잠재력을 보였다.
• 리뷰는 표준화된 테스트 환경의 부족과 스트레스 감지 모델을 훈련하기 위해 더 강력하고 일반화 가능한 데이터셋이 필요하다고 강조하였다.
• 현재의 한계는 개인 간 음성 표현의 변동성과 VR에서 실제 청중의 역동성을 모의하기 어려움에 기인한다.