[논문 리뷰] Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network

Wenxiang Jiao, Michael R. Lyu외 1명|arXiv (Cornell University)|2019. 11. 20.

Topic Modeling참고 문헌 21인용 수 13

한 줄 요약

이 논문은 대화에서 실시간 정서 인식을 위한 주의 게이팅 계층 메모리 네트워크(AGHMN)를 제안한다. 양방향 GRU 기반의 계층 메모리 네트워크(HMN)를 사용해 발화 및 발화 간 맥락을 포착하고, 메모리 요약 과정에서 순서를 유지하기 위해 주의 GRU(AGRU)를 도입한다. 모델은 두 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이는 이전 방법들보다 유의미한 격차로 승승을 거두었다.

ABSTRACT

Real-time emotion recognition (RTER) in conversations is significant for developing emotionally intelligent chatting machines. Without the future context in RTER, it becomes critical to build the memory bank carefully for capturing historical context and summarize the memories appropriately to retrieve relevant information. We propose an Attention Gated Hierarchical Memory Network (AGHMN) to address the problems of prior work: (1) Commonly used convolutional neural networks (CNNs) for utterance feature extraction are less compatible in the memory modules; (2) Unidirectional gated recurrent units (GRUs) only allow each historical utterance to have context before it, preventing information propagation in the opposite direction; (3) The Soft Attention for summarizing loses the positional and ordering information of memories, regardless of how the memory bank is built. Particularly, we propose a Hierarchical Memory Network (HMN) with a bidirectional GRU (BiGRU) as the utterance reader and a BiGRU fusion layer for the interaction between historical utterances. For memory summarizing, we propose an Attention GRU (AGRU) where we utilize the attention weights to update the internal state of GRU. We further promote the AGRU to a bidirectional variant (BiAGRU) to balance the contextual information from recent memories and that from distant memories. We conduct experiments on two emotion conversation datasets with extensive analysis, demonstrating the efficacy of our AGHMN models.

연구 동기 및 목표

• 기존 실시간 정서 인식 모델이 단방향 RNN과 소프트 주의를 사용함에 따라 이중 방향 맥락을 포착하지 못하고 메모리 요약 과정에서 순서 정보를 상실한다는 한계를 해결하고자 한다.
• 계층 메모리 아키텍처에서 CNN 대신 양방향 GRU를 사용해 발화 수준의 특징 표현을 향상시키고자 한다.
• 과거 발화의 순서와 위치 정보를 유지하는 메모리 요약 메커니즘을 설계하여 소프트 주의의 '메모리의 집합' 문제를 해결하고자 한다.
• 실생활 정서 대화 데이터셋에서 제안된 AGHMN 모델의 효과성을 분석하기 위해 추론 및 시각화 연구를 수행하고자 한다.

제안 방법

• 각 발화 내 단어 시퀀스를 모델링하기 위해 양방향 GRU(BiGRU)를 사용하는 발화 독자로 계층 메모리 네트워크(HMN)를 제안하여 CNN 대비 특징 추출 성능을 향상시킨다.
• 이전 발화 간 상호작용을 모델링하기 위해 BiGRU 융합 레이어를 도입하여 이중 방향 맥락 흐름과 더 풍부한 메모리 표현을 가능하게 한다.
• 질의-메모리 주의 가중치를 사용해 GRU의 내부 상태를 업데이트하는 주의 GRU(AGRU)를 설계하여 메모리 요약 과정에서 순서 정보를 유지한다.
• 최근 및 먼 과거 메모리의 맥락 정보를 균형 있게 처리하기 위해 AGRU를 이중 방향 버전(BiAGRU)으로 확장한다.
• 각 데이터셋에서 실험적으로 최적의 K 값으로 결정된 크기 K의 동적 메모리 백업을 구성하기 위해 맥락 윈도우 메커니즘을 사용한다.
• 두 수준의 메모리 계층: 단어 → 발화(BiGRU를 통한), 발화 → 대화(BiGRU 융합을 통한)로 구성되어 계층 메모리 백업을 형성한다.

실험 결과

연구 질문

• RQ1 양방향 GRU 기반의 발화 독자가 정서 인식을 위한 발화 수준 특징 학습에서 CNN보다 우월한가?
• RQ2 양방향 융합 레이어가 단방향 RNN 대비 발화 간 관계 모델링에 더 나은 성능을 보이는가?
• RQ3 주의 게이팅 GRU(AGRU)가 소프트 주의보다 메모리 요약 과정에서 순서 및 위치 정보를 더 잘 유지하는가?
• RQ4 AGRU의 이중 방향 버전(BiAGRU)이 단일 방향 AGRU보다 더 우수한 맥락 균형을 제공하는가?
• RQ5 맥락 윈도우 크기 K가 모델 성능에 미치는 영향은 무엇이며, 다양한 대화 동적 특성에 최적의 윈도우 크기는 무엇인가?

주요 결과

• 제안된 AGHMN 모델은 IEMOCAP 및 MELD 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, 기존 방법들보다 뚜렷한 격차로 승리한다.
• BiGRU 기반의 발화 독자가 항상 CNN 기반 독자보다 뛰어나며, 계층 메모리 구조와의 호환성이 더 뛰어나다는 것을 입증한다.
• BiF-AGRU 모델이 가장 뛰어난 성능을 기록하였으며, IEMOCAP에서는 K=40, MELD에서는 K=5의 최적 맥락 윈도우 크기를 확보하였고, 이는 평균 대화 길이와 일치한다.
• 추론 연구 결과, BiGRU 융합 레이어와 AGRU 메커니즘이 성능 향상에 기여하며, 특히 단일 방향 메모리 백업에서도 AGRU가 소프트 주의를 능가함을 확인하였다.
• 시각화 결과, BiAGRU가 소프트 주의나 단일 방향 AGRU보다 더 포괄적인 맥락적 신호를 포착하는 것으로 나타났으며, 특히 복잡한 정서 역동성에서 뚜렷한 우월성을 보였다.
• 모델는 정서 변화에 대해 뛰어난 강건성을 보였지만, MELD에서 '혐오'와 같은 소수 정서 클래스에서는 여전히 성능이 제한되어 있어, 더 많은 데이터나 다중 모odal 특징을 통합함으로써 향상 가능성이 있음을 시사한다.