[논문 리뷰] Advanced LSTM: A Study about Better Time Dependency Modeling in Emotion Recognition

Fei Tao, Gang Liu|arXiv (Cornell University)|2017. 10. 27.

Emotion and Mood Recognition참고 문헌 20인용 수 8

한 줄 요약

이 논문은 현재 은닉 상태가 바로 이전 타임스텝이 아닌, 여러 과거 타임스텝에 의존할 수 있도록 허용함으로써 시간적 종속성 모델링을 향상시키는 새로운 RNN 변종인 고급 LSTM(A-LSTM)을 제안한다. 가중치 풀링 RNN 프레임워크에 통합된 A-LSTM는 전통적인 LSTM 대비 매크로 F-스코어에서 5.5%의 상대적 향상을 달성하며, 최소한의 파라미터 오 overhead 로도 시간적 감정 역학을 뛰어나게 모델링함을 보여준다.

ABSTRACT

Long short-term memory (LSTM) is normally used in recurrent neural network (RNN) as basic recurrent unit. However,conventional LSTM assumes that the state at current time step depends on previous time step. This assumption constraints the time dependency modeling capability. In this study, we propose a new variation of LSTM, advanced LSTM (A-LSTM), for better temporal context modeling. We employ A-LSTM in weighted pooling RNN for emotion recognition. The A-LSTM outperforms the conventional LSTM by 5.5% relatively. The A-LSTM based weighted pooling RNN can also complement the state-of-the-art emotion classification framework. This shows the advantage of A-LSTM.

연구 동기 및 목표

• 기존 LSTM가 현재 상태가 오직 이전 타임스텝에만 의존한다고 가정하는 한계를 해결하기 위해, 시간적 맥락 모델링을 제한하는 요소를 제거한다.
• 장기적이고 비순간적인 감정 상태를 보다 잘 포착할 수 있도록 음성 기반 AI에서의 감정 인식을 향상시키기 위해, 감정 동적 모델링 능력을 향상시키고자 한다.
• 현재 은닉 상태가 여러 과거 타임스텝에 의존하도록 허용할 경우, 순차적 표현 학습이 향상되는지 탐구하고자 한다.
• 실제 음성 응용 프로그램에서 휴식 또는 비음성 세그먼트가 존재하는 상황에서도 실용적이고 데이터 기반의 프레임워크에서 A-LSTM의 성능을 평가하고자 한다.
• A-LSTM가 최신 DNN 기반 감정 인식 시스템과 보완 가능할지 평가하고자 한다.

제안 방법

• A-LSTM는 표준 LSTM 셀을 수정하여 현재 은닉 상태가 바로 이전 타임스텝 외에도 여러 과거 타임스텝의 은닉 상태에 의존할 수 있도록 한다.
• 조합에 사용되는 타임스텝은 사전 정의된 집합 T = {5, 3, 1}에서 선택되며, 과적합과 학습 불안정성을 방지하기 위해 간격을 2로 설정한다.
• 과거 상태를 조합하는 데 사용되는 가중치는 미분 가능한 어텐션 메커니즘을 통해 학습되며, 입력 패턴에 따라 적응적으로 조합된다.
• A-LSTM는 다중 작업 학습을 통한 가중치 풀링 RNN 프레임워크에 통합되며, 최종 발화 표현은 시간에 걸친 은닉 상태들의 가중합으로 구성된다.
• 프레임워크는 16kHz 오디오에서 10ms 간격으로 추출된 z-정규화된 36차원 음향 특징(MFCCs, ZCR, 에너지, 스펙트럼 특징, 크로마, 피치)을 사용한다.
• 학습에는 Adam 옵timizer를 사용하며, 배치 크기 32, 드롭아웃 비율 0.5를 적용하고, IEMOCAP 데이터셋을 대상으로 매크로 F-스코어(MAF), 매크로 정밀도(MAP), 정확도를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 현재 상태가 오직 이전 타임스텝에만 의존한다는 가정을 완화할 경우, 감정 인식을 위한 RNN의 시간 모델링 능력이 향상되는가?
• RQ2 현재 은닉 상태가 여러 과거 타임스텝에 어텐션을 기울일 수 있도록 허용할 경우, 순차적 감정 분류 성능이 향상되는가?
• RQ3 IEMOCAP 데이터셋에서 가중치 풀링 RNN 프레임워크 내에서 A-LSTM는 기존 LSTM보다 어떻게 비교되는가?
• RQ4 A-LSTM 기반 RNN은 특히 저자료 또는 실세계 상황에서 최신 DNN 프레임워크와 보완 가능할 수 있는가?
• RQ5 A-LSTM의 성능 향상은 시간적 맥락 모델링의 향상 때문인지, 아니면 풀링 레이어에서 더 많은 타임스텝을 볼 수 있기 때문인가?

주요 결과

• A-LSTM는 기존 LSTM 대비 매크로 F-스코어(MAF)에서 5.5%의 상대적 향상을 달성하였으며, MAF는 43.8%에서 46.2%로 상승하였다.
• 향상된 성능는 A-LSTM의 향상된 시간 종속성 모델링 능력 덕분이며, 단순히 수용장(Receptive Field)이 넓어진 것 때문이 아니며, 이미 모든 타임스텝에 접근 가능한 가중치 풀링 레이어가 존재하기 때문이다.
• 과거 상태를 조합하는 데 사용되는 학습 가능한 어텐션 가중치는 고정된 가중 평균(예: 평균 LSTM)보다 유의미하게 뛰어난 성능을 보이며, 적응성의 중요성을 입증한다.
• DNN 기준선(약 58M 파라미터)과 유사한 파라미터 수(약 58M)를 가짐에도 불구하고, A-LSTM를 탑재한 RNN 프레임워크는 경쟁력 있는 성능을 보이며, DNN와의 융합을 통해 정확도를 58.7%까지 향상시킬 수 있다.
• A-LSTM 기반 RNN 프레임워크는 DNN 기준선(56.9% MAF 대비 46.2% MAF)보다 성능이 열 劣하나, 이는 IEMOCAP 데이터셋의 제한된 학습 데이터와 잘 분할된 발화 때문이며, 모델 자체의 약점 때문이 아니라고 판단된다.
• RNN과 DNN 프레임워크의 융합은 최고의 성능(58.2% MAF)을 달성하였으며, A-LSTM 기반 RNN이 실용적 응용에서 DNN를 효과적으로 보완할 수 있음을 보여준다.