[논문 리뷰] Capsule Attention for Multimodal EEG and EOG Spatiotemporal Representation Learning with Application to Driver Vigilance Estimation

Guangyi Zhang, Sadegh Etemad|arXiv (Cornell University)|2019. 12. 17.

EEG and Brain-Computer Interfaces참고 문헌 29인용 수 17

한 줄 요약

이 논문은 운전사 경각심 추정을 향상시키기 위해 다중모달 EEG 및 EOG 신호 분석을 위한 캡슐 주의 강화 LSTM 아키텍처를 제안한다. 캡슐 네트워크의 동적 라우팅과 LSTM를 통한 시계열 모델링을 통합함으로써 계층적 시공간적 종속성을 포착하고, 경각심 분류에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Driver vigilance estimation is an important task for transportation safety. Wearable and portable brain-computer interface devices provide a powerful means for real-time monitoring of the vigilance level of drivers, thus help with avoiding distracted or impaired driving. In this paper, we propose a novel multimodal architecture for in-vehicle vigilance estimation from Electroencephalogram and Electrooculogram. However, most current works in the area lack an effective framework for learning the part-whole relationships within the data and learning useful spatiotemporal representations. To tackle this problem and other issues associated with multimodal biological signal analysis, we propose an architecture composed of a capsule attention mechanism following a deep Long Short-Term Memory (LSTM) network. Our model learns both temporal and hierarchical/spatial dependencies in the data through the LSTM and capsule feature representation layers. To better explore the discriminative ability of the learned representations, we study the effect of the proposed capsule attention mechanism including the number of dynamic routing iterations as well as other parameters. Experiments show the robustness of our method by outperforming other solutions and baseline techniques, setting a new state-of-the-art.

연구 동기 및 목표

• 다중모달 EEG 및 EOG 신호에서의 부분-전체 관계 모델링의 부족을 해결하기 위해.
• 뇌 및 눈동자 움직임 신호의 시계열 동적 변화와 계층적 공간적 종속성을 모두 포착하는 강건한 시공간 표현을 학습하기 위해.
• 캡슐 주의 메커니즘의 하이퍼파라미터, 예를 들어 동적 라우팅 반복 수 등의 영향을 조사하기 위해.
• 실시간 차량 내 경각심 모니터링을 위한 효과적인 EEG 및 EOG 모odal 통합을 위한 통합 아키텍처를 개발하기 위해.

제안 방법

• 순차적 EEG 및 EOG 신호의 시계열 종속성을 모델링하기 위해 깊이 있는 장단기 기억(LSTM) 네트워크를 사용한다.
• LSTM 이후 캡슐 주의 메커니즘을 통합하여 계층적 특징 표현을 학습하고 데이터 내 부분-전체 관계를 포착한다.
• 캡슐 레이어에서 동적 라우팅을 적용하여 주의 유사 특징 변환을 가능하게 하고, 구분 능력 있는 표현 학습을 향상시킨다.
• 라우팅 반복 수 및 기타 하이퍼파라미터가 모델 성능에 미치는 영향을 분석하여 캡슐 주의 메커니즘을 최적화한다.
• 캡슐 네트워크를 통해 다중모달 EEG 및 EOG 특징을 융합하여 경각심 분류를 위한 표현 학습을 강화한다.
• 레이블이 부여된 경각심 데이터를 사용하여 지도 학습으로 종합 모델을 훈련시켜 운전사의 경각심 수준을 예측한다.

실험 결과

연구 질문

• RQ1 표준 주의 또는 풀링 레이어에 비해 캡슐 주의 메커니즘이 다중모달 EEG 및 EOG 신호 내 계층적이고 공간적인 관계를 얼마나 효과적으로 포착할 수 있는가?
• RQ2 캡슐 네트워크의 동적 라우팅 반복 수가 학습된 표현의 품질과 분류 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 다중모달 아키텍처는 기존 최신 기술 수준의 방법에 비해 경각심 추정 성능을 어느 정도 향상시키는가?
• RQ4 LSTM과 캡슐 주의의 통합은 생물학적 신호 내 시계열 역학과 공간 계층을 공동으로 모델링하여 표현 학습을 향상시키는가?

주요 결과

• 제안된 캡슐 주의-LSTM 모델은 기존 기준 기법보다 운전사 경각심 추정에서 뛰어난 성능을 보이며, 새로운 최신 기술 수준의 성능을 달성한다.
• 캡슐 주의 메커니즘이 다중모달 EEG 및 EOG 데이터로부터 구분 능력 있는 시공간 표현을 학습하는 데 상당한 기여를 한다.
• 캡슐 레이어의 동적 라우팅 반복 수는 모델 성능에 측정 가능한 영향을 미치며, 최적 설정이 분류 정확도를 향상시킨다.
• LSTM과 캡슐 네트워크의 통합은 뇌 및 눈동자 움직임 신호 내 시계열 시퀀스와 계층적 공간적 구조를 효과적으로 모델링할 수 있다.
• 모델은 다양한 데이터 분할 및 조건에서 강건성을 보이며, 실세계 차량 내 모니터링 응용 분야에서 강력한 일반화 능력을 나타낸다.