[논문 리뷰] Applying Transfer Learning To Deep Learned Models For EEG Analysis

Axel Uran, Coert van Gemeren외 3명|arXiv (Cornell University)|2019. 07. 02.

EEG and Brain-Computer Interfaces참고 문헌 24인용 수 18

한 줄 요약

이 논문은 제한된 레이블이 부여된 데이터로도 성능을 향상시키기 위해 대규모 데이터셋에서 사전 훈련된 특징을 활용하는 전이학습 접근법을 제안한다. BCI 경연 대회 IV 2a 데이터셋에서 기존 최고의 전통적 기계학습 방법보다 33% 향상된 성능을 기록하였으며, 2b 데이터셋에서는 실험 간 전이학습을 통해 성능을 18% 향상시켜 한 명의 피실험자나 작업당 최소한의 데이터로도 강력한 분류가 가능하게 하였다.

ABSTRACT

The introduction of deep learning and transfer learning techniques in fields such as computer vision allowed a leap forward in the accuracy of image classification tasks. Currently there is only limited use of such techniques in neuroscience. The challenge of using deep learning methods to successfully train models in neuroscience, lies in the complexity of the information that is processed, the availability of data and the cost of producing sufficient high quality annotations. Inspired by its application in computer vision, we introduce transfer learning on electrophysiological data to enable training a model with limited amounts of data. Our method was tested on the dataset of the BCI competition IV 2a and compared to the top results that were obtained using traditional machine learning techniques. Using our DL model we outperform the top result of the competition by 33%. We also explore transferability of knowledge between trained models over different experiments, called inter-experimental transfer learning. This reduces the amount of required data even further and is especially useful when few subjects are available. This method is able to outperform the standard deep learning methods used in the BCI competition IV 2b approaches by 18%. In this project we propose a method that can produce reliable electroencephalography (EEG) signal classification, based on modest amounts of training data through the use of transfer learning.

연구 동기 및 목표

• 뇌과학 분야에서 레이블이 부여된 EEG 데이터가 제한적인 문제를 해결하기 위해 전이학습을 심층학습 모델에 적용한다.
• 소량의 훈련 데이터만 이용 가능한 상황에서 EEG 신호 분류 성능을 향상시키기 위해 노력한다.
• 동일 실험 내 및 다른 실험 간 전이학습을 통해 피실험자 및 실험 작업 간 지식 전이를 탐색한다.
• 최소한의 데이터로도 전통적 기계학습 방법보다 우수한 성능을 내는 심층학습 기반의 운동 상상 EEG 분류를 달성한다.
• 이전에 학습된 특징 표현을 통해 다양한 EEG 실험 및 실험 설계 간 모델 재사용과 일반화를 가능하게 한다.

제안 방법

• 대규모 EEG 데이터셋에서 심층 합성곱 신경망(CNN)을 사전 훈련하여 일반적이고 저수준의 특징을 학습한다.
• BCI 경연 대회 IV 2a 및 2b의 소규모 타겟 데이터셋에 대해 전이학습 전략을 사용하여 사전 훈련된 모델을 미세조정한다.
• 두 가지 전이학습 변형을 구현한다: '고정 학습'(초기 레이어를 고정) 및 '분할 학습'(후행 레이어만 미세조정)을 통해 제한된 데이터에 최적화한다.
• 한 실험에서 사전 훈련한 모델을 다른 실험에 대해 미세조정함으로써 실험 간 전이학습을 구현한다. 이는 운동 상상 클래스 수가 다를 경우에도 가능하다.
• 소규모 데이터셋에서의 과적합을 줄이기 위해 데이터 증강 및 드롭아웃을 적용한다.
• BCI 경연 대회 데이터셋의 보류된 테스트 세트에서 코HEN의 카파(κ) 및 정확도를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터로도 전이학습이 심층학습의 EEG 분류 성능을 향상시킬 수 있는가?
• RQ2 동일 실험 내 전이학습(다른 피실험자 간)이 운동 상상 작업에서 모델 일반화를 어떻게 향상시키는가?
• RQ3 다른 실험 또는 작업 간 전이학습(실험 간 전이학습)이 데이터 요구량을 추가로 줄일 수 있는가?
• RQ4 다양한 전이학습 전략(예: 고정 학습 대비 분할 학습)이 표준 훈련 및 분산 학습과 비교해 어떻게 성능를 내는가?
• RQ5 사전 훈련된 모델이 다양한 EEG 파라다임이나 운동 상상 클래스 수에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 전이학습 방법은 BCI 경연 대회 IV 2a의 최고 성과보다 코헨의 카파 점수 기준 33% 높은 성능을 기록하였다.
• 고정 학습 방법이 가장 높은 성능를 기록하였으며, 분할 학습이 그 다음으로 뒤따랐다. 이는 사전 훈련된 레이어에서 유용한 일반적 특징을 효과적으로 재사용했기 때문이다.
• 실험 간 전이학습은 2b 데이터셋에서 표준 심층학습 접근법 대비 성능을 18% 향상시켰으며, 데이터 요구량도 감소시켰다.
• 표준 전이학습은 네 운동 유형 작업에서 표준 학습 대비 5% 향상되었고, 두 운동 유형 작업에서는 6% 향상되었지만, 고정 학습 및 분할 학습에 비해 성능가 낮았다.
• 다른 클래스 수를 가진 운동 상상 작업 간에도 모델이 강력한 전이성을 보였으며, 이는 서로 다른 작업 간 특징 공유가 가능함을 시사한다.
• 결과적으로, 다양한 피실험자 및 실험 간에 사전 훈련된 EEG 모델을 공유함으로써 BCI 응용 분야에서 성능 향상과 데이터 의존도 감소를 크게 이룰 수 있다.