[논문 리뷰] A Novel Fusion of Attention and Sequence to Sequence Autoencoders to Predict Sleepiness From Speech

Shahin Amiriparian, Pawel Winokurow외 4명|arXiv (Cornell University)|2020. 05. 15.

Sleep and Work-Related Fatigue참고 문헌 30인용 수 6

한 줄 요약

이 논문은 연속적인 졸림을 예측하기 위해 음성에서 비지도 표현 학습을 위한 주목적 기반 및 표준 순서-순서(sequence-to-sequence) 오토인코더의 새로운 융합을 제안한다. 멜스펙트로그램을 추출하고, 두 오토인코더 유형을 학습한 후 그들이 학습한 특징을 융합함으로써, 테스트 데이터에서 스피어만 상관계수 0.367을 달성하였으며, 개별 모델 및 기준 모델들을 능가하였다.

ABSTRACT

Motivated by the attention mechanism of the human visual system and recent developments in the field of machine translation, we introduce our attention-based and recurrent sequence to sequence autoencoders for fully unsupervised representation learning from audio files. In particular, we test the efficacy of our novel approach on the task of speech-based sleepiness recognition. We evaluate the learnt representations from both autoencoders, and then conduct an early fusion to ascertain possible complementarity between them. In our frameworks, we first extract Mel-spectrograms from raw audio files. Second, we train recurrent autoencoders on these spectrograms which are considered as time-dependent frequency vectors. Afterwards, we extract the activations of specific fully connected layers of the autoencoders which represent the learnt features of spectrograms for the corresponding audio instances. Finally, we train support vector regressors on these representations to obtain the predictions. On the development partition of the data, we achieve Spearman's correlation coefficients of .324, .283, and .320 with the targets on the Karolinska Sleepiness Scale by utilising attention and non-attention autoencoders, and the fusion of both autoencoders' representations, respectively. In the same order, we achieve .311, .359, and .367 Spearman's correlation coefficients on the test data, indicating the suitability of our proposed fusion strategy.

연구 동기 및 목표

• 음성 신호를 사용하여 연속적인 졸림 인식을 위한 비지도 표현 학습 프레임워크를 개발하기 위해.
• 주목적 기반 메커니즘이 음성 기반 졸림 예측을 위한 순서-순서 오토인코더를 향상시키는지 조사하기 위해.
• 초기 융합을 통해 주목적 및 비주목적 오토인코더가 학습한 표현 간의 상보성을 평가하기 위해.
• 2019년 INTERSPEECH ComParE 데이터셋에서 전문가가 설계한 특징 및 도전 기준 모델들과의 비교를 통해 제안된 방법의 성능을 평가하기 위해.
• 수동적인 특징 공학 없이도 종단간(end-to-end), 완전히 비지도 학습이 졸림 감지에 효과적임을 입증하기 위해.

제안 방법

• 50% 겹침이 있는 히팅윈도우를 사용하여 16 kHz 원시 오디오에서 멜스펙트로그램을 추출하고, 로그 스케일 멜밴드를 적용한다.
• 주목적 기반 및 비주목적 기반의 양방향 순환 순서-순서 오토인코더를 각각 학습한다. 양 모델 모두 GRU 또는 LSTM 셀을 사용한다.
• 주목적 기반 모델에서 인코더의 최종 완전 연결층과 디코더의 마지막 은닉 상태를 학습된 표현으로 사용한다.
• 비주목적 오토인코더의 경우, 인코더의 완전 연결층과 디코더의 마지막 은닉 상태에서 표현을 추출한다.
• 양 오토인코더의 표현을 이르기 전에 연결하여 초기 특징 융합을 수행하고, 이후 서포트 벡터 회귀기(SVR)를 훈련한다.
• 개발 세트에서 SVR 복잡도를 최적화하고, KSS 점수와 스피어만 순위 상관계수를 사용하여 테스트 데이터에서 평가한다.

실험 결과

연구 질문

• RQ1 주목적 기반 메커니즘이 졸림 감지에서 음성 기반 비지도 표현 학습을 위한 순서-순서 오토인코더를 향상시킬 수 있는가?
• RQ2 초기 융합을 통해 주목적 기반 및 비주목적 오토인코더가 학습한 표현 간에 상보성이 존재하는가?
• RQ3 제안된 비지도 방법의 성능은 수작업 특징 및 도전 기준 모델들과 비교하여 연속적인 졸림 예측에서 어떻게 나타나는가?
• RQ4 졸림 인식에 최적화된 오토인코더 하이퍼파라미터(예: 윈도우 크기, 셀 유형, 차원 수)의 구성은 무엇인가?
• RQ5 두 오토인코더 유형의 표현을 초기 융합하면 개별 모델보다 더 높은 성능을 내는가?

주요 결과

• 주목적 기반 오토인코더는 KSS 점수와 함께 개발 세트에서 스피어만 상관계수 0.324, 테스트 세트에서 0.311을 기록하였다.
• 비주목적 오토인코더는 개발 세트에서 0.286, 테스트 세트에서 0.338을 기록하여 낮은 성능에도 불구하고 강한 일반화 능력을 보였다.
• 두 오토인코더의 표현을 조기에 융합한 결과, 가장 높은 성능을 기록하였으며, 개발 세트에서 0.320, 테스트 세트에서 0.367의 상관계수를 달성하였다.
• 최적의 융합 구성은 복잡도 $10^{-1}$을 가진 SVR을 사용하여 테스트 상관계수 0.367를 기록하였으며, 이는 도전 대회 우승자의 개발 세트 성능 0.383을 능가했지만, 테스트 세트에선 略적으로 낮았다.
• 주목적 모델의 최고 성능는 LSTM 셀, 512차원 특징, 25에포크 학습을 통해 달성되었으며, 개발 세트에서 0.324, 테스트 세트에서 0.311의 상관계수를 기록하였다.
• 융합 전략은 뚜렷한 상보성을 보였으며, 병합된 표현이 양 개별 모델보다 뛰어난 성능을 보여, 다양한 표현이 학습된 가치를 확인시켰다.