[논문 리뷰] EEG-based Auditory Attention Decoding: Towards Neuro-Steered Hearing Devices

Simon Geirnaert, Servaas Vandecappelle외 7명|arXiv (Cornell University)|2020. 08. 11.

Blind Source Separation Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 소음이 많은 다중 대화 환경에서 주의를 기울이고 있는 화자(화자)를 강조하는 신경 조절 청각 기기의 기초로, 뇌파 기반 청각 주의 복원(AAD)을 제안한다. 다중 채널 뇌파와 신경 복원 모델을 사용하여 주의를 기울인 말소리의 파형을 복원함으로써, 화자 파형과의 상관관계를 통해 목표 화자를 높은 정확도로 식별한다. 주요 발견은 이 맥락에서 선형 모델(예: MMSE-rigde)이 딥 러닝 접근 방식보다 성능이 뛰어나다는 것이다.

ABSTRACT

People suffering from hearing impairment often have difficulties participating in conversations in so-called `cocktail party' scenarios with multiple people talking simultaneously. Although advanced algorithms exist to suppress background noise in these situations, a hearing device also needs information on which of these speakers the user actually aims to attend to. The correct (attended) speaker can then be enhanced using this information, and all other speakers can be treated as background noise. Recent neuroscientific advances have shown that it is possible to determine the focus of auditory attention from non-invasive neurorecording techniques, such as electroencephalography (EEG). Based on these new insights, a multitude of auditory attention decoding (AAD) algorithms have been proposed, which could, combined with the appropriate speaker separation algorithms and miniaturized EEG sensor devices, lead to so-called neuro-steered hearing devices. In this paper, we provide a broad review and a statistically grounded comparative study of EEG-based AAD algorithms and address the main signal processing challenges in this field.

연구 동기 및 목표

• 비침습적 뇌파를 사용하여 사용자가 주의를 기울이고 있는 화자를 식별함으로써 청각 기기에서 '칵테일 파티 문제'를 해결하는 것.
• 공개된 데이터셋을 사용하여 뇌파 기반 청각 주의 복원(AAD) 알고리즘에 대한 통계적으로 타당한 종합적 비교 평가를 제공하는 것.
• 미래의 신경 조절 청각 기기에 통합하기 위한 가장 효과적인 AAD 알고리즘을 특정하여 정확도, 강인성, 실용 가능성 측면에서 규명하는 것.
• 결정 윈도우 길이와 교차 검증 전략이 AAD 성능에 미치는 영향을 평가하여 방법론적 엄밀성과 공정성을 확보하는 것.
• 실세계 구현을 위해 해결해야 할 실용적 과제들—예: 온라인 적응, 뇌파 장치의 소형화, 화자 분리 시스템과의 통합—을 부각하는 것.

제안 방법

• 본 연구는 다중 입력 단일 출력(MISO) 신경 복원 모델을 사용하여, 다중 채널 뇌파 신호로부터 주의를 기울인 말소리 파형을 복원하는 자극 재구성(역모델링) 접근 방식을 채택한다.
• 각 AAD 알고리즘은 뇌파 입력을 복원된 말소리 파형으로 매핑하는 복원 모델(예: 선형 MMSE, Lasso, CCA, CNN)을 추정하며, 이 복원된 파형은 모든 화자들의 파형과 상관관계를 계산하여 주의를 기울인 화자를 식별한다.
• 각 알고리즘의 성능 평가는 두 개의 공개된 데이터셋—Das-2015(16명의 참가자, 각각 72분), Fuglsang-2018(18명의 참가자, 각각 50분)—을 사용하여 평가한다. 양 데이터셋 모두 64채널 뇌파와 HRTF 필터링을 거친 말소리 자극을 포함한다.
• 이중 교차 검증 절차를 사용한다: 외부의 한 세그먼트를 제외하는 교차 검증(LOSO-CV) 루프는 평가를 위해, 내부의 10중 교차 검증 루프는 하이퍼파rameter 튜닝을 위해 사용되며, 결정 윈도우 길이(τ)는 10초에서 60초 사이로 다양하게 설정된다.
• CNN 기반 모델의 경우 계산 자원 제약과 화자 신원에 대한 과적합 방지를 위해, CNN-loc에 대해서는 별도의 한 화자를 제외하는 교차 검증(LOSpO-CV) 전략을 적용하고, CNN-sim에는 10중 교차 검증을 사용한다.
• 모든 알고리즘은 다운샘플링된 뇌파와 말소리 파형(64 Hz, 1–32 Hz 대역통과 필터)을 사용하여 훈련 및 테스트하며, 선형 모델의 경우 더 줄인 20 Hz와 1–9 Hz 대역으로 압축하여 파rameter 수를 감소시킨다.

실험 결과

연구 질문

• RQ1 다양한 결정 윈도우 길이에서, 어떤 EEG 기반 청각 주의 복원(AAD) 알고리즘이 가장 높은 정확도로 주의를 기울인 화자를 식별하는가?
• RQ2 비선형 모델(예: CNN, CCA)에 비해 선형 모델(예: MMSE-rigde, Lasso)은 AAD 작업에서 성능 및 강인성 면에서 어떻게 비교되는가?
• RQ3 특히 과적합에 취약한 모델의 경우, 교차 검증 전략(예: LOSO-CV 대비 LOSpO-CV)의 선택이 성능 추정의 신뢰성에 어떤 영향을 미치는가?
• RQ4 다른 청취 조건(예: 반향이 없는 실내 vs. 반향이 있는 실내)과 화자 쌍(동성별 대비 이성별)에서 AAD 알고리즘의 성능는 어떻게 변화하는가?
• RQ5 실세계 구현을 위해 극복해야 할 핵심 신호 처리 과제들—예: 온라인 적응, 뇌파 장치의 소형화, 화자 분리 시스템과의 통합—은 무엇인가?

주요 결과

• MMSE-rigde 알고리즘이 두 데이터셋에서 평균 정확도가 가장 높았으며, Das-2015에서 85.6%, Fuglsang-2018에서 84.1%를 기록하여, 딥 러닝 모델을 포함한 모든 다른 방법보다 뛰어났다.
• 선형 모델인 MMSE-rigde와 Lasso는 비선형 모델인 CNN과 CCA에 비해 더 뛰어난 강인성과 일관성을 보였으며, 특히 짧은 결정 윈도우 길이에서 두드러졌다.
• CNN-loc 모델은 딥 러닝 모델 중에서 가장 높은 성능( Das-2015에서 80.2%, Fuglsang-2018에서 78.5%)을 보였지만, 화자 신원에 대한 과적합을 방지하기 위해 특수한 한 화자를 제외하는 교차 검증(LOSpO-CV) 전략이 필요했다.
• CCA 기반 방법은 양호한 성능를 보였지만 略도 과적합 위험이 있었으며, 그러나 대응 검정(Wilcoxon signed-rank test)을 통해 LOSpO-CV 성능와 중앙값 무작위 교차 검증 성능 사이에 유의미한 차이가 없음을 확인했으며(p = 0.38), 이는 신뢰성의 타당성을 입증했다.
• 결정 윈도우 길이가 정확도에 상당한 영향을 미치며, 성능가장 높은 성능는 약 30–60초 사이에서 관찰되었고, 하이퍼파rameter 튜닝(예: 정규화 λ)은 특히 MMSE-avgdec-lasso와 같은 방법에서 윈도우 길이에 매우 민감하게 의존하였다.
• 복잡성에도 불구하고, CNN-sim 및 CNN-loc와 같은 딥 러닝 모델은 정확도에서 선형 모델을 능가하지 못했으며, 이는 더 단순하고 해석이 쉬운 모델이 실시간, 저지연 신경 조절 청각 기기에 더 적합할 수 있음을 시사한다.