[논문 리뷰] TOWARDS AUDITORY ATTENTION DECODING WITH NOISE-TAGGING: A PILOT STUDY

Hanneke A. Scheppink, Sara Ahmadi외 3명|arXiv (Cornell University)|2024. 03. 22.

Blind Source Separation Techniques인용 수 1

한 줄 요약

이 예비 연구는 청각 주의도 추론(AAD)을 향상시키기 위해 의사난수 코드로 음성 신호를 진폭 변조하는 노이즈 태깅 기법을 조사한다. 고유한 노이즈 코드를 음성 신호에 통합함으로써, 저자들은 음성 에너지(еCCA)와 재복결된 노이즈 코드(rCCA)를 기반으로 한 캐논리컬 상관분석(CCA) 방법을 비교한다. 결과적으로 70–100% 변조 깊이에서 비변조된 음성에 비해 해석 정확도가 뚜렷이 향상되며, 특히 짧은 결정 창에서 두드러진다. 이는 신경 조절 청각 보조기기에서 더 빠르고 정확한 AAD를 위한 노이즈 태깅의 실현 가능성을 보여준다.

ABSTRACT

Auditory attention decoding (AAD) aims to extract from brain activity the attended speaker amidst candidate speakers, offering promising applications for neuro-steered hearing devices and brain-computer interfacing. This pilot study makes a first step towards AAD using the noise-tagging stimulus protocol, which evokes reliable code-modulated evoked potentials, but is minimally explored in the auditory modality. Participants were sequentially presented with two Dutch speech stimuli that were amplitude-modulated with a unique binary pseudo-random noise-code, effectively tagging these with additional decodable information. We compared the decoding of unmodulated audio against audio modulated with various modulation depths, and a conventional AAD method against a standard method to decode noise-codes. Our pilot study revealed higher performances for the conventional method with 70 to 100 percent modulation depths compared to unmodulated audio. The noise-code decoder did not further improve these results. These fundamental insights highlight the potential of integrating noise-codes in speech to enhance auditory speaker detection when multiple speakers are presented simultaneously.

연구 동기 및 목표

• 노이즈 태깅을 통해 코드 변조된 청각 유도 전위(c-AEP)를 청각 영역에서 해석할 수 있는지의 실현 가능성을 평가하는 것.
• 음성 에너지 기반(еCCA)과 노이즈 코드 기반(rCCA) CCA 방법 간의 해석 성능를 비교하는 것.
• 다양한 변조 깊이(0–100%)가 순차적 자극 제시 조건에서 AAD 정확도에 미치는 영향을 평가하는 것.
• 노이즈 태깅이 신경 조절 청각 보조기기의 해석 속도와 정확도를 향상시킬 수 있는지 탐색하는 것.
• 이미 시각 분야에서 성공한 c-VEP 프로토콜을 청각 주의도 추론에 적용하기 위한 기초 통찰을 확립하는 것.

제안 방법

• 음성 자극은 50, 70, 90, 100%의 깊이로 고유한 이진 의사난수 노이즈 코드로 진폭 변조되어 코드 변조된 오디오 신호를 생성하였다.
• 참가자들은 순차적으로 제시된 음성 자극을 청취하면서 EEG 기록을 수행하였으며, c-AEP 반응을 분리하기 위해 순차적 프로토콜을 사용하였다.
• 두 가지 해석 방법이 적용되었는데, 에너지 기반 CCA(еCCA)와 재복결 기반 CCA(rCCA)로, 모두 캐논리컬 상관분석을 사용하여 EEG와 자극 특징을 연결하였다.
• еCCA는 음성 에너지를 입력으로 사용하고, 분류에 LDA를 적용한 반면, rCCA는 노이즈 코드 웨이브폼을 입력으로 사용하여 주의도를 해석하였다.
• 해석 성능는 여러 결정 창 길이(τ = 1, 3, 5, 10, 15, 20, 30 s)에서 평가되었으며, 각 조건별 정확도가 보고되었다.
• 뇌간 추적과 관련된 고주파수 변조 성분을 유지하기 위해 노이즈 코드에 20 Hz 저역통과 필터를 적용하였다.

실험 결과

연구 질문

• RQ1 순차적 자극 제시 중에 노이즈 태깅이 EEG에서 검출 가능한 코드 변조된 청각 유도 전위(c-AEP)를 신뢰성 있게 유도할 수 있는가?
• RQ2 노이즈 코드로 음성을 진폭 변조하는 것이 비변조 음성에 비해 청각 주의도 추론 정확도를 향상시키는가?
• RQ3 0–100% 범위의 어떤 변조 깊이가 еCCA와 rCCA 방법 모두에서 최적의 해석 성능를 제공하는가?
• RQ4 조기 감각 반응을 목표로 하는 rCCA 방법이, 음성 에너지 추적에 초점을 맞춘 еCCA 방법보다 우월하거나 동등한가?
• RQ5 노이즈 태깅이 짧은 결정 창(예: 1–3 s)에서 더 빠른 해석을 가능하게 할 수 있는가? 이는 실시간 신경 조절 청각 보조기기의 핵심 요소이다.

주요 결과

• еCCA 방법에서 70%, 90%, 100%의 모든 변조 깊이가 모든 결정 창 길이에서 비변조 조건(0%)보다 뛰어난 성능를 보였다.
• еCCA에서 100% 변조 깊이가 가장 높은 해석 정확도를 기록하였으며, τ = 1 s일 때 61.7%에 도달했고, 이는 еCCA에서 0% 변조 시 60.4%보다 높은 성능였다.
• rCCA 방법은 70% 변조 깊이에서 최고 성능를 기록하였으며, 비변조 조건을 뛰어나거나 일부 짧은 창에서 еCCA와 동등하거나 略적으로 뛰어났다.
• τ = 1 s일 때, rCCA에서 70% 변조로 61.7%의 정확도를 기록했고, еCCA에서 0% 변조일 때 60.4%의 정확도를 기록하여, 노이즈 태깅이 유사하거나 더 뛰어난 성능를 보였다.
• 장기 결정 창(τ ≥ 10 s)에서는 모든 변조 조건에서 еCCA와 rCCA의 해석 성능가 향상되었다.
• rCCA 방법은 еCCA에 비해 성능 향상이 유의미하지 않았지만, 조기 감각 반응에 집중할 잠재력이 있었으며, 향후 최적화 가능성이 있음을 시사했다.