[논문 리뷰] Multimodal deep learning approach for joint EEG-EMG data compression and classification

Ahmed Ben Said, Amr Mohamed외 3명|arXiv (Cornell University)|2017. 03. 27.

EEG and Brain-Computer Interfaces참고 문헌 14인용 수 8

한 줄 요약

이 논문은 EEG와 EMG 신호를 상호 및 내부 모odal 간 상관관계를 활용하여 공동으로 압축하고 분류하는 다중모달 딥 오토에인코더를 제안한다. 이 모델은 압축 효율성이 뛰어나며, 정서 기반 레이블링에서 78.1%의 분류 정확도를 달성하여 단모달 방법과 전통적인 압축 기법을 능가한다.

ABSTRACT

In this paper, we present a joint compression and classification approach of EEG and EMG signals using a deep learning approach. Specifically, we build our system based on the deep autoencoder architecture which is designed not only to extract discriminant features in the multimodal data representation but also to reconstruct the data from the latent representation using encoder-decoder layers. Since autoencoder can be seen as a compression approach, we extend it to handle multimodal data at the encoder layer, reconstructed and retrieved at the decoder layer. We show through experimental results, that exploiting both multimodal data intercorellation and intracorellation 1) Significantly reduces signal distortion particularly for high compression levels 2) Achieves better accuracy in classifying EEG and EMG signals recorded and labeled according to the sentiments of the volunteer.

연구 동기 및 목표

• 다양한 생리 신호를 공동으로 압축하고 분류하여 mHealth 시스템에서의 효율적 데이터 전송을 해결한다.
• EEG와 EMG 신호 간의 모달 간 상관관계를 활용하여 압축 효율성을 향상시키고 신호 왜곡을 감소시킨다.
• EEG와 EMG 모달 간의 공유 표현을 학습하여 정서 상태(지배성 및 각성)에 대한 분류 정확도를 향상시킨다.
• 딥 오토에인코더를 다중모달 생물의학 데이터에서 압축과 특징 학습을 위한 통합 프레임워크로 사용할 수 있음을 입증한다.
• 향후 mHealth 애플리케이션에서 추가 모달을 통합할 수 있는 확장 가능하고 유연한 아키텍처를 제공한다.

제안 방법

• EEG와 EMG 각각의 내부 모달 상관관계를 모델링하기 위해 별도의 인코더를 갖춘 스택드 오토에인코더 아키텍처를 설계한다.
• 개별 모달 인코더 위에 공동 인코딩 레이어를 도입하여 모달 간 상관관계를 캡처한다.
• 공동 잠재 표현에서 EEG와 EMG 신호를 재구성하기 위해 공유 디코더를 사용한다.
• 재구성 오차(MSE)를 최소화하면서도 분류에 유용한 특징를 유지하기 위해 네트워크를 엔드 투 엔드로 훈련한다.
• 이중 분류를 위한 도메인 및 각성 상태에 대해 공동 잠재 표현 위에 소프트맥스 분류기를 적용한다.
• 백프로파게이션과 확률적 경량 최적화를 사용하여 모델을 최적화하고, 훈련 및 테스트를 위한 데이터 분할을 수행한다.

실험 결과

연구 질문

• RQ1 다중모달 딥 오토에인코더 아키텍처를 사용하여 EEG와 EMG 신호의 공동 압축 및 분류를 효과적으로 달성할 수 있는가?
• RQ2 모달 간 및 내부 모달 상관관계를 활용할 경우 신호 재구성 품질과 압축 효율성에 어떤 영향을 미치는가?
• RQ3 단모달 딥 러닝 모델에 비해 다중모달 접근 방식이 정서 상태 분류 정확도를 향상시키는가?
• RQ4 훈련 데이터의 양이 압축 및 분류 파이프라인 성능에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처는 향후 mHealth 시스템에서 추가 생리 모달을 통합하는 데 확장 가능한가?

주요 결과

• 제안된 다중모달 오토에인코더는 지배성 레이블에 대해 78.1%의 분류 정확도를 달성하여 단모달 SAE 및 DBM 기준선보다 유의미하게 뛰어나다.
• 각성 분류 작업에서는 다중모달 접근 방식이 65.9%의 정확도를 기록하여 단일 모달 모델보다 성능 향상을 보였다.
• 고압축 비율(예: 90%)에서 EEG 왜곡은 0.92%이고 EMG 왜곡은 0.78%였으며, 낮은 신호 훼손을 나타낸다.
• 훈련 데이터의 양을 늘릴수록 재구성 왜곡이 감소하여 데이터 양과 모델 성능 간의 정적 상관관계를 확인했다.
• 고압축 수준에서 기존의 압축 기법인 DWT와 압축 감지 기법보다 재구성 품질 측면에서 모델이 뛰어난 성능을 보였다.
• 모달 간 및 내부 모달 상관관계를 공동으로 모델링함으로써 고압축 조건에서도 신호 왜곡이 크게 감소했다.