[논문 리뷰] Joint Deep Cross-Domain Transfer Learning for Emotion Recognition

Dung Nguyen, Sridha Sridharan외 5명|arXiv (Cornell University)|2020. 03. 24.

Emotion and Mood Recognition참고 문헌 29인용 수 10

한 줄 요약

이 논문은 다수의 자원이 부족하고 상호 간섭이 없는 데이터셋에서 동시에 감정 인식 성능을 최적화하기 위해 세 가지 감독 신호를 사용하는 공동 딥 컬러드 도메인 전이 학습 프레임워크를 제안한다: 두 개의 감정 분류기(교차 엔트로피 손실)와 감정 매칭 신호(대비 손실). 교차 도메인 및 교차 데이터셋 특징을 함께 학습함으로써, 모델은 eNTERFACE와 SAVEE에서 평균 80%의 정확도를 달성하며, 최신 기준 모델들을 크게 능가하며 분포 이탈에 대해 강건함을 입증한다.

ABSTRACT

Deep learning has been applied to achieve significant progress in emotion recognition. Despite such substantial progress, existing approaches are still hindered by insufficient training data, and the resulting models do not generalize well under mismatched conditions. To address this challenge, we propose a learning strategy which jointly transfers the knowledge learned from rich datasets to source-poor datasets. Our method is also able to learn cross-domain features which lead to improved recognition performance. To demonstrate the robustness of our proposed framework, we conducted experiments on three benchmark emotion datasets including eNTERFACE, SAVEE, and EMODB. Experimental results show that the proposed method surpassed state-of-the-art transfer learning schemes by a significant margin.

연구 동기 및 목표

• 감정 인식에서 레이블이 부족한 문제를 다루며, 특히 학습 및 테스트 데이터셋이 상호 간섭이 있고 분포 이탈을 겪는 경우에 초점을 맞춘다.
• 기존의 전이 학습 방법이 단일 모odal(예: 시각적 또는 청각적) 내에서만 지식을 전이하고 도메인 간으로 일반화하지 못하는 한계를 극복한다.
• 교차 도메인(예: 시각적에서 청각적) 및 교차 데이터셋 특징을 동시에 학습하는 통합적인 딥 러닝 프레임워크를 개발하여 모델의 일반화 능력을 향상시킨다.
• 내부 클래스 분산을 최소화하고 외부 클래스 분산을 최대화하는 새로운 공동 손실 함수를 사용하여, 여러 자원이 부족한 데이터셋에서 엔드 투 엔드 학습을 가능하게 한다.
• 세 가지 벤치마크 데이터셋(eNTERFACE, SAVEE, EMODB)을 사용하여 다중 모odal 감정 인식에서 프레임워크의 효과성을 입증한다.

제안 방법

• 교차 엔트로피 손실을 사용하는 두 개의 감정 분류기(각 도메인 별로 하나)와 동일한 감정을 가진 샘플 쌍을 매칭하는 데 사용하는 대비 손실을 포함하는 세 가지 감독 신호를 가진 공동 학습 프레임워크를 제안한다.
• 각 브랜치가 다른 데이터셋 또는 모달리티에서 데이터를 처리하는 듀얼 브랜치 네트워크 아키텍처를 사용하여 도메인 간 특징 학습을 가능하게 한다.
• 특히 자원이 부족한 환경에서 성능 향상과 학습 안정성을 높이기 위해 그룹 정규화(GN)를 통합한다.
• 메모리 소비를 줄이면서도 성능를 유지하기 위해 소형 미니배치 크기 2를 사용하여, 제한된 GPU 자원에서도 효율적인 학습을 가능하게 한다.
• 초기 가중치를 재학습하지 않고도, 작은 페어드 샘플 배치를 사용하여 사전 학습된 모델에서 연속적인 미세조정을 수행하여 대비 임베딩을 학습한다.
• 대비 손실을 활용하여 데이터셋 간에 내부 클래스 거리의 감소와 외부 클래스 거리의 증가를 유도함으로써, 강건하고 일반화 가능한 특징 표현을 촉진한다.

실험 결과

연구 질문

• RQ1 공동 딥 컬러드 도메인 학습 프레임워크는 자원이 부족하고 상호 간섭이 있는 다수의 데이터셋 간에 감정 지식을 효과적으로 전이할 수 있는가?
• RQ2 교차 엔트로피 손실과 대비 손실을 동시에 최적화하는 것이 단일 손실 또는 순차적 학습 전략에 비해 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ3 제안된 방법은 eNTERFACE와 SAVEE와 같은 서로 다른 감정 데이터셋 간의 분포 이탈을 어느 정도 완화할 수 있는가?
• RQ4 소형 미니배치 크기(2)는 성능에 악영향을 미치는가, 아니면 자원이 부족한 환경에서도 효과적인 학습과 높은 정확도를 달성할 수 있는가?
• RQ5 공유되는 교차 도메인 표현을 학습함으로써, 시각적 모달리티에서 청각적 모달리티로의 일반화가 가능한가?

주요 결과

• 제안된 공동 학습 모델은 eNTERFACE(94%)와 SAVEE(66%)에서 평균 80%의 감정 인식 정확도를 달성하며, 기준 모델들을 크게 능가한다.
• 교차 엔트로피 손실만을 사용하여 eNTERFACE와 SAVEE 데이터를 결합한 V_SAV_eNTER_Model은 평균 64%의 정확도에 그치며, 단순한 데이터 결합 전략이 분포 이탈 문제를 해결하지 못함을 시사한다.
• 미니배치 크기 2로 사전 학습 모델을 미세조정함으로써 경쟁적인 성능를 확보함으로써, 이 방법이 메모리 효율적이며 자원이 부족한 환경에 적합함을 입증한다.
• 대비 손실 구성 요소는 내부 클래스 분산을 효과적으로 감소시키고 외부 클래스 분산을 증가시켜, 데이터셋 간에 더 구분력 있는 특징 학습을 가능하게 한다.
• 모델은 도메인 간에 잘 일반화되며, 특히 시각적 모달리티에서 청각적 모달리티로의 전이가 성공적으로 이루어져 교차 도메인 지식 전이가 가능함을 보여준다.
• 저자들의 지식에 비추어 볼 때, 이는 자원이 부족한 데이터셋에서 감정 인식을 위한 단일 엔드 투 엔드 프레임워크 내에서 교차 도메인 및 교차 데이터셋 특징을 동시에 학습하는 최초의 방법이다.