[논문 리뷰] PhyAAt: Physiology of Auditory Attention to Speech Dataset

Nikesh Bajaj, Jesús Requena Carrión외 1명|arXiv (Cornell University)|2020. 05. 23.

EEG and Brain-Computer Interfaces참고 문헌 35인용 수 6

한 줄 요약

이 논문은 자연어 자극을 포함한 청각 주의 실험 중 25명의 비모국어 사용자로부터 수집한 14채널의 뇌파(EEG), 피부전도반응(GSR), 혈류포화도측정기(PPG) 신호를 포함하는 공개 데이터셋인 PhyAAt을 소개한다. 다양한 소음, 의미론적 조건 및 길이 조건에서 실험하였다. 스펙트럼 특징과 SVM 모델을 사용하여 주의 수준, 소음 수준, 의미 내용, 단어 재생각 능력 예측 성능이 유의미하게 높았으며(p << 0.0001), 모든 결과는 공개된 phyaat 파이썬 라이브러리를 통해 재현 가능하다.

ABSTRACT

Auditory attention to natural speech is a complex brain process. Its quantification from physiological signals can be valuable to improving and widening the range of applications of current brain-computer-interface systems, however it remains a challenging task. In this article, we present a dataset of physiological signals collected from an experiment on auditory attention to natural speech. In this experiment, auditory stimuli consisting of reproductions of English sentences in different auditory conditions were presented to 25 non-native participants, who were asked to transcribe the sentences. During the experiment, 14 channel electroencephalogram, galvanic skin response, and photoplethysmogram signals were collected from each participant. Based on the number of correctly transcribed words, an attention score was obtained for each auditory stimulus presented to subjects. A strong correlation ($p&lt;&lt;0.0001$) between the attention score and the auditory conditions was found. We also formulate four different predictive tasks involving the collected dataset and develop a feature extraction framework. The results for each predictive task are obtained using a Support Vector Machine with spectral features, and are better than chance level. The dataset has been made publicly available for further research, along with a python library - phyaat to facilitate the preprocessing, modeling, and reproduction of the results presented in this paper. The dataset and other resources are shared on webpage - https://phyaat.github.io.

연구 동기 및 목표

• 자연어 청각 주의 상황에서의 생리적 반응을 촬영하는 데이터셋을 개발하여 기존 문헌에서의 자료 부족을 보완한다.
• 번역된 단어 정확도를 주의 점수로 삼아 청각 조건이 다양할 때 주의 수준을 객관적으로 평가할 수 있도록 한다.
• 다중 모odal 생리 신호(EEG, GSR, PPG)를 활용해 주의 관련 상태를 예측 모델링할 수 있도록 하여 BCI 및 인지 모니터링 분야의 적용 가능성을 높인다.
• phyaat 파이썬 라이브러리를 통해 전처리, 특징 추출, 모델링을 위한 재현 가능한 오픈소스 프레임워크를 제공한다.
• 교육, 게임, 보조 기술 등 응용 분야를 포함해 청각 처리 및 주의의 뇌 기제 연구를 지원한다.

제안 방법

• 소음 수준(N, S, L), 의미성, 자극 길이 조건을 고려한 144회의 시험을 수행한 이분청각 청취 실험을 실시하였으며, 청취, 번역, 휴식 단계를 포함한다.
• 각 시험 동안 128 Hz의 샘플링 주파수로 14채널의 EEG, 피부전도반응(GSR), 광학혈류포화도측정기(PPG) 신호를 수집하였다.
• 정확히 옮겨 적은 단어 수를 기반으로 주의 점수를 계산하였으며, 경미한 철자 오류는 무시하였다. 이는 주의 수준을 정량화하기 위함이다.
• Welch의 방법을 사용하여 각 EEG 채널에서 델타, 테타, 알파, 베타, 저주파 감마, 고주파 감마 대역의 파wer를 추출하였다.
• 특징 추출 이전에 웨이블릿 기반 아티팩트 제거 방법(dB3, β=0.1, N=128)을 적용하여 EEG 신호를 정제하였다.
• 10겹 교차검증과 정규화(C)를 사용하여 RBF 커널을 적용한 서포트 벡터 머신(SVM)을 사용하여 네 가지 예측 과제(주의 점수, 소음 수준, 의미성, 단어 재생각(LWR))에 대해 학습하였다.

실험 결과

연구 질문

• RQ1 번역 정확도로부터 유도된 주의 점수와 청각 자극의 조건(소음 수준, 의미성, 길이) 사이에 유의미한 상관관계가 존재하는가?
• RQ2 EEG, GSR, PPG와 같은 생리 신호를 사용하여 자연어 청각에 대한 주의 수준을 랜덤 추측 수준을 초월해 예측할 수 있는가?
• RQ3 EEG 신호의 스펙트럼 특징이 청각 자극의 의미 내용이나 단어 재생각을 얼마나 잘 예측할 수 있는가?
• RQ4 EEG 스펙트럼 특징을 사용한 기본적인 SVM 모델이 다양한 실험 조건에서 주의 관련 상태를 예측하는 데 얼마나 효과적인가?
• RQ5 제공된 phyaat 라이브러리와 데이터셋을 사용하여 제안된 특징 추출 및 모델링 파이프라인을 재현할 수 있는가?

주요 결과

• 주의 점수와 청각 조건 사이에 강한 통계적 유의성 있는 상관관계(p << 0.0001)가 확인되어 주의 측정 지표의 타당성이 입증되었다.
• 주의 점수 예측 모델(T1)은 테스트 세트에서 평균 절대 오차(MAE) 29.65를 기록하여, 100단어 문장에서의 랜덤 추측 수준(~50)을 뛰어넘는 유의미한 성능을 보였다.
• 소음 수준 예측 모델(T2)은 MAE 4.75를 기록하여 생리 신호로부터 배경 소음 수준을 신뢰성 있게 추정할 수 있음을 시사했다.
• 의미성 분류 과제(T3)에서 SVM 모델은 56%의 정확도를 기록하여 우연의 가능성인 50%(1/2)를 초월하여 의미 내용에 대한 신경적 연관성이 감지됨을 보여주었다.
• 단어 재생각 예측 과제(T4)에서는 81%의 정확도를 기록하여 우연의 가능성인 33.3%(1/3)를 뛰어넘어 재생각 성능에 대한 강력한 예측 능력을 입증하였다.
• 모든 예측 과제에서 랜덤 추측 수준을 초월하는 성능를 기록하였으며, 공개된 오픈소스 phyaat 라이브러리를 통해 결과가 재현 가능하였다. 이 라이브러리는 전처리, 특징 추출, 모델링 기능을 모두 포함한다.