[論文レビュー] TOWARDS AUDITORY ATTENTION DECODING WITH NOISE-TAGGING: A PILOT STUDY

Hanneke A. Scheppink, Sara Ahmadi+3 more|arXiv (Cornell University)|Mar 22, 2024

Blind Source Separation Techniques被引用数 1

ひとこと要約

本パイロット研究では、偽無作為ノイズ・コードを用いて音声を振幅変調するノイズタギング—聴覚的注意のデコード（AAD）を向上させる手法—を検討する。音声信号に固有のノイズ・コードを埋め込むことで、EEGを用いたデコード性能を、音声エンVELOPE（eCCA）と再畳み込みされたノイズ・コード（rCCA）に基づく偏相関分析（CCA）を比較する。結果として、70–100%の変調深さが、特に短い意思決定ウィンドウにおいて、変調なし音声よりもデコード精度を顕著に向上させることを示し、神経制御ヘアリングエイドにおける高速かつ高精度なAADの実現可能性を裏付けた。

ABSTRACT

Auditory attention decoding (AAD) aims to extract from brain activity the attended speaker amidst candidate speakers, offering promising applications for neuro-steered hearing devices and brain-computer interfacing. This pilot study makes a first step towards AAD using the noise-tagging stimulus protocol, which evokes reliable code-modulated evoked potentials, but is minimally explored in the auditory modality. Participants were sequentially presented with two Dutch speech stimuli that were amplitude-modulated with a unique binary pseudo-random noise-code, effectively tagging these with additional decodable information. We compared the decoding of unmodulated audio against audio modulated with various modulation depths, and a conventional AAD method against a standard method to decode noise-codes. Our pilot study revealed higher performances for the conventional method with 70 to 100 percent modulation depths compared to unmodulated audio. The noise-code decoder did not further improve these results. These fundamental insights highlight the potential of integrating noise-codes in speech to enhance auditory speaker detection when multiple speakers are presented simultaneously.

研究の動機と目的

• ノイズタギングを用いたコード変調聴覚誘発電位（c-AEP）のデコード可能性を聴覚領域で評価すること。
• 音声エンVELOPEに基づく（eCCA）とノイズ・コードに基づく（rCCA）CCA手法のデコード性能を比較すること。
• 順次提示される刺激における変調深さ（0–100%）の変動がAAD精度に与える影響を評価すること。
• ノイズタギングが神経制御ヘアリングエイドにおけるデコード速度と精度を向上させることを検証すること。
• 視覚領域で成功を収めたc-VEPパラダイムを聴覚的注意デコードに応用するための基礎的知見を確立すること。

提案手法

• 音声刺激は、50、70、90、100%の変調深さで一意のバイナリ擬似ランダムノイズ・コードにより振幅変調され、コード変調音声信号が作成された。
• 被験者は順次提示された音声刺激を聴取しながらEEGが記録され、c-AEP反応を分離するために順次パラダイムが用いられた。
• 2つのデコード手法が適用された：エンVELOPEに基づくCCA（eCCA）と再畳み込みに基づくCCA（rCCA）、両者ともEEGと刺激特徴を結びつけるために偏相関分析（CCA）を用いた。
• eCCAは音声エンVELOPEを入力とし、LDAを用いて分類処理を行ったのに対し、rCCAはノイズ・コード波形を入力として注意状態をデコードした。
• デコード性能は複数の意思決定ウィンドウ長（τ = 1、3、5、10、15、20、30 s）で評価され、各条件下での正答率が報告された。
• cortical追跡に関連する高周波数成分を保持するために、ノイズ・コードに20 Hzのローパスフィルタが適用された。

実験結果

リサーチクエスチョン

• RQ1 順次提示される刺激下で、ノイズタギングはEEGにおいて検出可能なコード変調聴覚誘発電位（c-AEP）を確実に誘発するか？
• RQ2 ノイズ・コードによる音声の振幅変調は、変調なし音声と比較して聴覚的注意デコード精度を向上させるか？
• RQ3 eCCAおよびrCCA手法の両方において、最適なデコード性能を達成する変調深さ（0–100%）はどれか？
• RQ4 早期感覚応答に焦点を当てるrCCA手法は、音声エンVELOPE追跡に注目するeCCA手法を上回るか、同等の性能を示すか？
• RQ5 ノイズタギングは、リアルタイム神経制御ヘアリングエイドに不可欠な短い意思決定ウィンドウ（例：1–3 s）において、より高速なデコードを可能にするか？

主な発見

• eCCA手法において、70%、90%、100%の全変調深さが、すべての意思決定ウィンドウ長において変調なし条件（0%）を上回った。
• eCCAでは100%変調深さが最高のデコード精度を達成し、τ = 1 sで61.7%の正答率を記録した。これは、eCCAにおける0%変調の60.4%を上回った。
• rCCA手法では70%変調深さでピーク性能を示し、変調なし条件を上回り、一部の短いウィンドウではeCCAと同等またはわずかに上回った。
• τ = 1 sでは、rCCAにおける70%変調深さで61.7%の正答率を達成した。一方、eCCAにおける0%変調では60.4%であった。これは、ノイズタギングにより同等またはより優れた性能が得られたことを示している。
• 長い意思決定ウィンドウ（τ ≥ 10 s）では、eCCAおよびrCCAの両手法において、全変調条件でデコード性能が向上した。
• rCCA手法はeCCAを著しく上回る性能を示さなかったが、早期感覚応答に注目する可能性を示しており、最適化の余地があると考えられる。