[논문 리뷰] AttX: Attentive Cross-Connections for Fusion of Wearable Signals in Emotion Recognition

Anubhav Bhatti, Behnam Behinaein외 2명|arXiv (Cornell University)|2022. 06. 09.

Emotion and Mood Recognition인용 수 8

한 줄 요약

이 논문은 감정 인식을 위한 딥러닝 모델에서 다중모달 웨어러블 신호(예: ECG, EDA, BVP)를 동적으로 융합하는 새로운 주의 기반 크로스연결 메커니즘인 AttX를 제안한다. 여러 네트워크 단계에서 주의 가중치를 적용한 양방향 또는 단방향 정보 공유를 통합함으로써 표현 학습을 향상시키고, WESAD 데이터셋에서 기존 방법보다 최대 6.3% 높은 정확도를 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

We propose cross-modal attentive connections, a new dynamic and effective technique for multimodal representation learning from wearable data. Our solution can be integrated into any stage of the pipeline, i.e., after any convolutional layer or block, to create intermediate connections between individual streams responsible for processing each modality. Additionally, our method benefits from two properties. First, it can share information uni-directionally (from one modality to the other) or bi-directionally. Second, it can be integrated into multiple stages at the same time to further allow network gradients to be exchanged in several touch-points. We perform extensive experiments on three public multimodal wearable datasets, WESAD, SWELL-KW, and CASE, and demonstrate that our method can effectively regulate and share information between different modalities to learn better representations. Our experiments further demonstrate that once integrated into simple CNN-based multimodal solutions (2, 3, or 4 modalities), our method can result in superior or competitive performance to state-of-the-art and outperform a variety of baseline uni-modal and classical multimodal methods.

연구 동기 및 목표

• 다양한 생리 신호가 상보적이지만 균일하지 않은 정보를 지닌 웨어러블 기반 감정 인식에서 효과적인 다중모달 융합의 과제를 해결하기 위해.
• 고정된 초기 또는 후기 융합 전략에 의존하지 않고, 관련성에 따라 유연하게 모달 간 정보를 공유할 수 있는 동적이고 학습 가능한 융합 메커니즘을 개발하기 위해.
• 딥 네URAL 네트워크 아키텍처의 다양한 단계에서 크로스연결을 통합할 경우 표현 품질과 분류 성능에 미치는 영향을 조사하기 위해.
• 제안된 주의 기반 크로스연결 메커니즘이 기존의 전통적 융합 기법(특징 수준 및 점수 수준 융합)과 최신 기술 수준의 방법을 모두 능가할 수 있음을 입증하기 위해.

제안 방법

• AttX는 딥 네URAL 네트워크의 임의의 중간 계층에서 모달 특징 스트림 간에 가중치가 부여된 크로스연결을 계산하는 학습 가능한 주의 기반 피드포워드 네트워크를 도입한다.
• 이 방법은 세 가지 유형의 연결을 지원한다: 유형 I(모달 A에서 B로 단방향), 유형 II(B에서 A로), 유형 III(양방향), 이를 통해 정보 흐름 제어의 유연성을 제공한다.
• 크로스연결은 네트워크의 여러 단계(예: 단계 2 또는 3)에 삽입되어 기울기 전파를 다수의 접점에서 가능하게 하고 특징 정제를 향상시킨다.
• AttX 내부의 주의 메커니즘은 공유 특징에 대한 동적 가중치를 계산하여 모달 특성 기반의 맥락에 따라 정보가 많은 표현을 우선순위로 지정한다.
• 이 프레임워크는 다양한 CNN 백본(VGG, ResNet)에 통합되어 WESAD, SWELL-KW, CASE 세 개의 공개 데이터셋에서 평가된다.
• 이 방법은 엔드 투 엔드 학습을 지원하며, 컨볼루션 블록 이후 다른 모달 스트림의 특징맵을 연결함으로써 중위 수준 융합을 가능하게 한다.

Figure 1 : An overview of our study is presented where attentive cross-modal connections are proposed, and their integration in multimodal settings is studied for emotion recognition.

실험 결과

연구 질문

• RQ1 다양한 네트워크 단계에서 주의 기반 크로스연결을 통합할 경우 다중모달 표현 학습과 감정 인식 성능에 어떤 영향을 미치는가?
• RQ2 ECG와 EDA와 같은 모달 간의 정보 흐름에서 최적의 방향성과 유형(단방향 또는 양방향)은 무엇인가?
• RQ3 기존의 특징 수준 및 점수 수준 융합 전략에 비해 AttX는 어느 정도 성능 향상을 이룰 수 있는가?
• RQ4 복잡한 아키텍처나 주의 메커니즘 없이도 AttX는 단순한 CNN 기반 모델만으로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• WESAD 데이터셋에서 AttX는 ECG와 EDA 융합으로 65.20%의 정확도와 62.25%의 F1을 기록하여 최신 기술 수준의 방법보다 약 6.3% 높은 성능을 보였다.
• WESAD 데이터셋에서 AttX는 특징 수준 융합 대비 4% 향상되고 점수 수준 융합 대비 4.8% 향상된 성능을 기록했다.
• CASE 데이터셋에서 AttX는 ECG와 EDA 융합으로 66.72%의 정확도와 61.00%의 F1을 기록하여 특징 융합 대비 3.7% 향상되고 점수 융합 대비 14% 향상된 성능을 기록했다.
• ECG와 EDA 또는 BVP와 EDA에 피부 온도(ST)를 추가로 통합함으로써 성능이 더욱 향상되었으며, CASE 데이터셋에서 70.15%의 정확도와 67.84%의 F1을 기록했다.
• 가장 높은 성능는 단계 2(중위 수준 융합)에 AttX를 삽입했을 때 달성되었으며, 이는 다음으로 단계 3에서 성능가까이 도달하여 크로스모달 정보 교환에 최적의 타이밍임을 시사한다.
• 유형 II 연결(EDA에서 ECG 또는 BVP로의 단방향)이 일관되게 가장 높은 성능 향상을 보였으며, 이는 EDA가 다른 모달에 매우 정보가 많은 단서를 제공한다는 것을 시사한다.

Figure 2 : A multimodal pipeline consisting of two CNNs, one for learning ECG and the other for learning EDA, is presented. The CNNs are connected via our AttX connections (Type III) after each convolutional block. $\bigotimes$ denotes concatenation.