[논문 리뷰] Adversarial Domain Adaptation for Stable Brain-Machine Interfaces

Ali Farshchiansadegh, Juan Álvaro Gallego외 4명|arXiv (Cornell University)|2018. 09. 28.

EEG and Brain-Computer Interfaces참고 문헌 34인용 수 28

한 줄 요약

이 논문은 뇌-기계 인터페이스(BMI)의 장기적 안정성을 높이기 위해, 하루 동안의 신경 신호 잔차의 확률 분포를 정렬함으로써 매일의 校정이 필요로 하는 양을 줄이는 적대적 도메인 적응 네트워크(ADAN)를 제안한다. ADAN은 표준 상관분석과 쿨백-라이블러 발산 최소화 방법보다 장기적 BMI 성능 안정화에 뛰어나며, 단지 1분의 적응 데이터만으로도 day 16에서 통계적으로 유의미한 6% 향상을 달성한다.

ABSTRACT

Brain-Machine Interfaces (BMIs) have recently emerged as a clinically viable option to restore voluntary movements after paralysis. These devices are based on the ability to extract information about movement intent from neural signals recorded using multi-electrode arrays chronically implanted in the motor cortices of the brain. However, the inherent loss and turnover of recorded neurons requires repeated recalibrations of the interface, which can potentially alter the day-to-day user experience. The resulting need for continued user adaptation interferes with the natural, subconscious use of the BMI. Here, we introduce a new computational approach that decodes movement intent from a low-dimensional latent representation of the neural data. We implement various domain adaptation methods to stabilize the interface over significantly long times. This includes Canonical Correlation Analysis used to align the latent variables across days; this method requires prior point-to-point correspondence of the time series across domains. Alternatively, we match the empirical probability distributions of the latent variables across days through the minimization of their Kullback-Leibler divergence. These two methods provide a significant and comparable improvement in the performance of the interface. However, implementation of an Adversarial Domain Adaptation Network trained to match the empirical probability distribution of the residuals of the reconstructed neural signals outperforms the two methods based on latent variables, while requiring remarkably few data points to solve the domain adaptation problem.

연구 동기 및 목표

• 임플란트된 전극에서 발생하는 뉴런 손실과 교체로 인한 만성 뇌-기계 인터페이스(BMI)의 불안정성 문제를 해결하기 위해.
• BMI의 매일의 校정과 재훈련이 필요로 하는 양을 줄임으로써 사용자의 인지적 부담을 감소시키기 위해.
• 과제에 특화된 튜닝 없이도 장기간에 걸쳐 일관된 성능을 유지하는 도메인 적응 방법을 개발하기 위해.
• 잔차에 대해 적대적 도메인 적응을 적용할 경우 잠재변수 기반의 도메인 적응 방법보다 BMI 복원 성능 안정화에 더 뛰어나지 않는가 평가하기 위해.

제안 방법

• 딥 오토인코더를 종단 간(end-to-end)으로 훈련하여 운동 피질의 신경 활동의 저차원 잠재 표현을 추출하면서 동시에 운동 의도를 예측한다.
• 적대적 도메인 적응 네트워크(ADAN)는 생성적 적대적 프레임워크를 사용하여, 서로 다른 날짜의 재구성된 신경 신호 잔차의 경험적 확률 분포를 정렬한다.
• ADAN은 day 0과 이후 날짜의 잔차 분포 간 쿨백-라이블러 발산을 최소화하여 잠재 표현의 안정성을 높인다.
• 이 방법은 초기 일자와 이후 일자의 잔차를 구분할 수 있는 판별기(discriminator)를 사용하며, 생성기(generator)가 기준 분포와 구분되지 않는 잔차를 생성하도록 유도한다.
• 잠재 변수가 아닌 잔차에 도메인 적응을 적용함으로써, 불일치를 증폭시키고 더 효과적인 정렬을 가능하게 한다.
• 다양한 일자 동안 EMG 예측 정확도를 사용하여 오프라인으로 성능을 평가하며, CCA, KLDM 및 고정 인터페이스 기준선과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 신경 신호 잔차에 대해 적대적 도메인 적응을 적용할 경우, 장기적인 만성 기록에서 BMI의 안정성이 향상되는가?
• RQ2 ADAN은 잠재변수 통계 기반의 전통적 도메인 적응 방법(예: CCA 및 KLDM)보다 성능이 뛰어나지 않는가?
• RQ3 ADAN이 BMI의 도메인 적응에서 유의미한 성능 향상을 달성하기 위해 얼마나 많은 데이터가 필요한가?
• RQ4 ADAN은 과제에 특화된 적응 없이도 제약이 없는 운동에 일반화 가능한가?
• RQ5 ADAN은 장기간에 걸쳐 고정된 복원 정확도를 유지하면서 매일의 校정이 필요한 양을 줄일 수 있는가?

주요 결과

• ADAN은 기준선 방법 대비 day 16에서 EMG 예측 정확도가 통계적으로 유의미하게 6% 향상되었으며, one-way ANOVA 및 Tukey 검정에서 p < 0.01을 기록하였다.
• ADAN은 단지 약 1분의 적응 데이터만으로도 성능 향상을 달성하여 높은 데이터 효율성을 입증하였다.
• ADAN은 CCA 및 KLDM보다 뛰어난 성능을 보였으며, 이 두 방법은 유사하지만 낮은 성능를 보였으며, 이는 잔차 기반 적응이 잠재변수 기반 정렬보다 더 효과적임을 시사한다.
• 사용자 재훈련이 필요로 하지 않게 BMI 디코더를 안정화시켰으며, 이는 인지적 부담 감소와 장기적 사용성 향상을 의미한다.
• ADAN 프레임워크는 날짜 간 뇌 신호 잔차의 확률 분포를 성공적으로 정렬하여 일관된 잠재 표현과 안정적인 복원을 이끌어냈다.
• 오프라인 결과에 따르면, ADAN은 고정된 BMI 디코더가 시간이 지남에도 높은 성능을 유지할 수 있도록 했으며, 향후 연구에서 온라인 폐쇄 루프 성능 향상 가능성이 있다.