[논문 리뷰] Plug-and-Play Stability for Intracortical Brain-Computer Interfaces: A One-Year Demonstration of Seamless Brain-to-Text Communication

Chaofei Fan, Nick Hahn외 7명|PubMed|2023. 11. 06.

EEG and Brain-Computer Interfaces참고 문헌 27인용 수 19

한 줄 요약

CORP는 pseudo-labels를 언어 모델로 보정하여 iBCI 필기 인코더를 지속적으로 온라인 보정하고, 감독 데이터 없이도 403일 동안 장기 안정성을 달성합니다.

ABSTRACT

Intracortical brain-computer interfaces (iBCIs) have shown promise for restoring rapid communication to people with neurological disorders such as amyotrophic lateral sclerosis (ALS). However, to maintain high performance over time, iBCIs typically need frequent recalibration to combat changes in the neural recordings that accrue over days. This requires iBCI users to stop using the iBCI and engage in supervised data collection, making the iBCI system hard to use. In this paper, we propose a method that enables self-recalibration of communication iBCIs without interrupting the user. Our method leverages large language models (LMs) to automatically correct errors in iBCI outputs. The self-recalibration process uses these corrected outputs ("pseudo-labels") to continually update the iBCI decoder online. Over a period of more than one year (403 days), we evaluated our Continual Online Recalibration with Pseudo-labels (CORP) framework with one clinical trial participant. CORP achieved a stable decoding accuracy of 93.84% in an online handwriting iBCI task, significantly outperforming other baseline methods. Notably, this is the longest-running iBCI stability demonstration involving a human participant. Our results provide the first evidence for long-term stabilization of a plug-and-play, high-performance communication iBCI, addressing a major barrier for the clinical translation of iBCIs.

연구 동기 및 목표

• 자주 필요한 감독 재보정이 필요하게 만드는 intracortical BCI 해독의 비정상성에 대응한다.
• 사용자의 활동을 중단하지 않으면서 온라인으로 작동하는 자체 재보정 프레임워크를 개발한다.
• 언어 모델을 활용해 iBCI 출력물을 보정하고, 의사 레이블을 사용해 디코더를 지속적으로 재훈련한다.
• 장기적 안정성을 시연하고 시드 모델 품질 및 재보정에 필요한 데이터 양을 정량화한다.

제안 방법

• CORP: iBCIs를 위한 의사 레이블을 통한 지속적 온라인 재보정 도입.
• 언어 모델을 사용하여 iBCI 출력물을 자동으로 보정하고 의사 레이블을 생성한다.
• 리플레이 버퍼를 갖춘 의사 레이블을 사용하여 온라인 확률적 경사 하강법으로 디코더를 재훈련한다.
• 특징에 노이즈 및 평균 오프셋을 추가하는 데이터 증강으로 견고성을 향상시킨다.
• 손실 임계값과 학습률에 기반한 중단 기준을 적용해 정확도와 재보정 시간의 균형을 맞춘다.
• 재보정 없이와 FA Stabilizer를 포함한 기준선과의 오프라인 및 온라인 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CORP가 감독 학습 없이도 확장된 비정상적 운영에서 높은 iBCI 해독 정확도를 유지할 수 있는가?
• RQ2 LM 보조 의사 레이블링이 지속적 온라인 재보정 성능에 어떤 영향을 미치는가?
• RQ3 효과적인 장기 안정성에 필요한 데이터 요건(시드 데이터, 재보정 샘플)은 무엇인가?
• RQ4 필기 iBCI에서 비감독 분포 정렬 방법(예: FA Stabilizer)과 비교할 때 CORP의 성능은 어떠한가?
• RQ5 재보정 시간과 정확도 간의 트레이드오프는 무엇인가?

주요 결과

• CORP는 403일에 걸쳐 평균 온라인 필기 해독 정확도 93.84%(±2.28)를 유지했다.
• 초일 CER은 시드 모델에서 3.22%; CORP로 온라인 블록에서 CER은 6.35%±1.75로 낮고 일자에 걸쳐 안정적으로 유지되었다.
• CORP의 오프라인 WER는 3.68% (95% CI [3.21, 4.76]); 온라인 WER은 CORP가 6.16%, 재보정 없음은 26.51%이다.
• 실제 정답 라벨이 있을 경우 CORP는 2.0% WER에 도달할 수 있었고 이는 잠재적 하한을 보여주며, CORP는 의사 레이블로 이를 근접하게 달성한다.
• LM 보정 의사 레이블이 재보정 정확도에 가장 큰 기여를 했고; LM이 없는 경우의 제거 실험에서 CER는 19.22%로 증가했다(언어 모델 없이).
• 재보정은 소량의 데이터(대략 10문장 정도로 상당한 회복을 이룸)만 필요하며; 약 10일 정도의 시드 데이터에서 더 이상의 수익은 감소했다.