[논문 리뷰] Ladder Networks for Emotion Recognition: Using Unsupervised Auxiliary Tasks to Improve Predictions of Emotional Attributes

Srinivas Parthasarathy, Carlos Busso|arXiv (Cornell University)|2018. 04. 28.

Emotion and Mood Recognition참고 문헌 26인용 수 42

한 줄 요약

이 논문은 감정 속성(기분, 가치, 지배력)의 회귀 성능을 향상시키기 위해 비지도 노이즈 제거 오토인코더와 다중 작업 학습을 결합한 래더 네트워크 아키텍처를 제안한다. 각 레이어의 은닉 표현을 재구성하기 위해 스킵 연결을 사용함으로써, 모델은 MSP-Podcast 데이터셋에서 최신 기술(SOTA) 성능을 달성하였으며, 고립된 학습, 오토인코더, 또는 비지도 정규화 없이 다중 작업 학습을 사용하는 기준 모델들을 능가하였다.

ABSTRACT

Recognizing emotions using few attribute dimensions such as arousal, valence and dominance provides the flexibility to effectively represent complex range of emotional behaviors. Conventional methods to learn these emotional descriptors primarily focus on separate models to recognize each of these attributes. Recent work has shown that learning these attributes together regularizes the models, leading to better feature representations. This study explores new forms of regularization by adding unsupervised auxiliary tasks to reconstruct hidden layer representations. This auxiliary task requires the denoising of hidden representations at every layer of an auto-encoder. The framework relies on ladder networks that utilize skip connections between encoder and decoder layers to learn powerful representations of emotional dimensions. The results show that ladder networks improve the performance of the system compared to baselines that individually learn each attribute, and conventional denoising autoencoders. Furthermore, the unsupervised auxiliary tasks have promising potential to be used in a semi-supervised setting, where few labeled sentences are available.

연구 동기 및 목표

• 깊이 신경망을 사용하여 연속적인 감정 속성(기분, 가치, 지배력)의 예측을 향상시키기 위해.
• 은닉 표현의 노이즈 제거라는 비지도 보조 작업이 모델의 정규화 및 일반화 성능 향상에 기여하는지 조사하기 위해.
• 비지도 보조 작업과 지도 다중 작업 학습을 결합함으로써 감정 인식 성능에 미치는 영향을 평가하기 위해.
• 제한된 레이블 데이터가 있는 반감지 학습 환경에서 래더 네트워크의 잠재력을 탐색하기 위해.

제안 방법

• 감정 회귀와 비지도 노이즈 제거를 동시에 학습할 수 있도록 인코더와 디코더 레이어 간 스킵(횡방향) 연결을 갖춘 래더 네트워크를 활용한다.
• 학습 중 각 레이어의 은닉 표현에 분산 σ² = 0.3인 노이즈를 적용하여 강건성을 향상시킨다.
• 재구성 손실로 평균 제곱 오차를 사용하고, 최적 성능를 위해 재구성 손실과 회귀 손실의 가중 조합을 사용하며, λl = 1로 설정한다.
• 모든 세 가지 감정 속성을 동시에 예측하기 위해 다중 작업 학습(MTL)을 구현하며, 작업 간 특징 표현을 공유한다.
• 은닉 레이어에 ReLU 활성화 함수를 사용하고, 회귀용으로 선형 출력을 사용하며, NADAM 최적화 기법과 드롭아웃(p = 0.5)을 활용해 정규화를 수행한다.
• 회귀 성능 평가 지표로도 사용되는 공차 상관계수(ICC)를 손실 함수로도 사용한다.

실험 결과

연구 질문

• RQ1 은닉 표현을 재구성하는 비지도 보조 작업이 감정 속성 회귀 성능 향상에 기여하는가?
• RQ2 비지도 노이즈 제거와 지도 다중 작업 학습을 결합할 경우 감정 인식에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 래더 네트워크 아키텍처가 연속적인 감정 차원을 예측하는 데 있어 표준 오토인코더 및 다중 작업 학습 기준 모델보다 뛰어난가?
• RQ4 비지도 사전 학습을 통해 래더 네트워크를 활용할 경우, 자원이 제한된 감정 인식 환경에서 반감지 학습에 얼마나 기여하는가?

주요 결과

• 래더+MTL 모델은 기분에 대해 CCC 0.803 ± 0.002, 가치에 대해 0.458 ± 0.004, 지배력에 대해 0.746 ± 0.001을 기록하여 최고의 테스트 성능를 달성하였다.
• 래더 네트워크는 비지도 오토인코더 기준 모델(기분에 대해 CCC 0.770 ± 0.004)보다 뚜렷이 뛰어나, 오토인코더 특징만으로는 회귀에 최적화되지 않음을 시사한다.
• 래더+STL 모델은 가치 예측에서 최고 성능(CCC = 0.765 ± 0.002)을 기록하여 MTL 기준 모델을 능가하였으며, 이는 비지도 정규화가 이 속성에 특히 유용함을 시사한다.
• 모든 래더 네트워크 변종이 기준 모델보다 통계적으로 유의미한 향상을 보였음(p < 0.05)으로, 비지도 보조 작업이 표현 학습에 가치가 있음을 확인한다.
• 래더+MTL 모델이 가장 뛰어난 종합 성능를 기록하였으며, 이는 비지도 및 지도 보조 작업을 결합함으로써 가장 강력한 특징 표현이 도출됨을 보여준다.
• 결과는 래더 네트워크가 반감지 학습 환경으로 효과적으로 확장될 수 있으며, 레이블이 제한된 상황에서 많은 양의 비라벨 데이터를 활용해 성능 향상을 이룰 수 있음을 시사한다.