[논문 리뷰] Distilling EEG Representations via Capsules for Affective Computing

Guangyi Zhang, Ali Etemad|arXiv (Cornell University)|2021. 04. 30.

EEG and Brain-Computer Interfaces참고 문헌 29인용 수 7

한 줄 요약

이 논문은 실시간 정서 계산을 위한 대규모이고 복잡한 뇌파 모델을 압축하기 위해 캡슐 네트워크를 사용하는 지식 증류 프레임워크를 제안한다. 사전에 훈련된 교사 네트워크로부터 특별히 캡슐 간 유사도라는 고급 지식을 경량 학생 네트워크로 이전함으로써, SEED-VIG 데이터셋에서 최신 기술 수준의 성능을 달성하고 훈련 데이터가 제한된 조건에서도 학생 네트워크의 강건성을 크게 향상시킨다.

ABSTRACT

Affective computing with Electroencephalogram (EEG) is a challenging task that requires cumbersome models to effectively learn the information contained in large-scale EEG signals, causing difficulties for real-time smart-device deployment. In this paper, we propose a novel knowledge distillation pipeline to distill EEG representations via capsule-based architectures for both classification and regression tasks. Our goal is to distill information from a heavy model to a lightweight model for subject-specific tasks. To this end, we first pre-train a large model (teacher network) on large number of training samples. Then, we employ the teacher network to learn the discriminative features embedded in capsules by adopting a lightweight model (student network) to mimic the teacher using the privileged knowledge. Such privileged information learned by the teacher contain similarities among capsules and are only available during the training stage of the student network. We evaluate the proposed architecture on two large-scale public EEG datasets, showing that our framework consistently enables student networks with different compression ratios to effectively learn from the teacher, even when provided with limited training samples. Lastly, our method achieves state-of-the-art results on one of the two datasets.

연구 동기 및 목표

• 자원이 제한된 스마트 기기에서 계산 비용이 큰 대규모 뇌파 모델을 구현하는 데 도전하는 것.
• 개별 사용자에 특화된 정서 계산 작업에서 경량 학생 네트워크의 성능과 강건성을 향상시키는 것.
• 지식 증류 기법을 뇌파 표현 학습 분야에 적용한 사례가 아직 전무한 분야에서의 응용을 탐색하는 것.
• 교사 네트워크로부터의 고급 정보를 활용해 훈련 샘플이 제한된 상황에서도 효과적인 학습을 가능하게 하는 것.

제안 방법

• 교사 네트워크는 대규모 다중 사용자 뇌파 데이터에서 사전 훈련되고, 사용자 내부 데이터에 대해 미세조정되어 사용자 특화 표현을 학습한다.
• 학생 네트워크는 지식 증류를 통해 교사의 출력을 모방하도록 설계된 경량 캡슐 기반 아키텍처이다.
• 지식 증류는 교사 네트워크의 캡슐 간 유사도를 학생 네트워크로 이전함으로써 수행되며, 캡슐 활동의 일치를 유도하는 전용 손실 함수를 사용한다.
• 이 프레임워크는 분류 및 회귀 작업 모두를 지원하여 다양한 정서 계산 벤치마크에 적용 가능하다.
• 학생 네트워크는 추론 시에는 이용할 수 없고 훈련 시에만 이용 가능한 교사의 고급 정보를 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 캡슐 기반 지식 증류가 정서 계산을 위한 대규모 뇌파 모델을 효과적으로 압축하면서 성능을 유지할 수 있는가?
• RQ2 훈련 데이터가 제한된 상황에서 증류가 학생 네트워크 성능을 어떻게 향상시키는가?
• RQ3 제안된 프레임워크가 공개된 뇌파 정서 계산 데이터셋에서 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 캡슐 간 유사도의 증류가 학생 모델의 일반화 능력과 강건성 향상에 기여하는가?

주요 결과

• 교사 모델의 파rameter 수의 0.03%만을 사용한 학생 네트워크가 경쟁 가능한 성능을 달성하여 효과적인 모델 압축을 입증했다.
• SEED-VIG 데이터셋에서 학생 네트워크는 RMSE 0.0258 ± 0.0095와 PCC 0.9930 ± 0.0047로 새로운 최신 기술 수준의 성능 기록을 수립했다.
• SEED 데이터셋에서 훈련 샘플의 30%만으로도 증류 방법이 성능을 3% 향상시켜 데이터 효율성을 입증했다.
• 학생 모델이 더 압축될수록 증류로 인한 성능 향상이 커져, 고도로 압축된 환경에서 더 강력한 지식 전달이 이루어지는 것으로 나타났다.
• 특히 훈련 샘플이 40% 미만일 경우, 무작위 초기화로 훈련하는 것보다 일관되게 성능 향상이 이루어져 보다 우수한 결과를 보였다.