[논문 리뷰] Multitask Learning for Emotion and Personality Detection

Yang Li, Amirmohammad Kazameini외 2명|arXiv (Cornell University)|2021. 01. 07.

Personality Traits and PsychologyPsychology참고 문헌 52인용 수 19

한 줄 요약

이 논문은 공유 표현을 활용하여 성격 특성(OCEAN)과 감정을 함께 예측하는 새로운 CNN 기반 다중 작업 학습 프레임워크인 SoGMTL을 제안한다. 이는 새로운 정보 공유 게이트(SoG)와 MAML 유사 최적화 전략을 통해 이루어지며, 성격 및 감정 검출을 위한 다수의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 대규모 언어 모델 기반 접근 방식조차도 능가한다.

ABSTRACT

In recent years, deep learning-based automated personality trait detection has received a lot of attention, especially now, due to the massive digital footprints of an individual. Moreover, many researchers have demonstrated that there is a strong link between personality traits and emotions. In this paper, we build on the known correlation between personality traits and emotional behaviors, and propose a novel multitask learning framework, SoGMTL that simultaneously predicts both of them. We also empirically evaluate and discuss different information-sharing mechanisms between the two tasks. To ensure the high quality of the learning process, we adopt a MAML-like framework for model optimization. Our more computationally efficient CNN-based multitask model achieves the state-of-the-art performance across multiple famous personality and emotion datasets, even outperforming Language Model based models.

연구 동기 및 목표

• 성격 및 감정 검출을 위한 다중 작업 학습에서의 격차를 해소하기 위해 두 작업을 함께 모델링하는 것.
• 성격 특성 검출과 감정 검출 간 효과적인 정보 공유 메커니즘을 탐색하고 검증하는 것.
• 다중 소스 데이터를 위한 MAML 유사 최적화 전략을 통해 모델 일반화 및 효율성을 향상시키는 것.
• 성격 및 감정 작업 간 공유 표현이 양측의 최종 작업 성능을 향상시킨다는 것을 입증하는 것.

제안 방법

• 공유 CNN 기반 아키텍처를 사용하여 성격 및 감정 예측을 동시에 수행하는 다중 작업 학습 프레임워크인 SoGMTL을 제안한다.
• 다양한 네트워크 레이어에서 작업 간 특징 흐름을 동적으로 제어하기 위해 새로운 정보 공유 게이트인 SoG(선택적 출력 게이팅)를 도입한다.
• 다양한 데이터 소스에서의 일반화 성능 향상을 위해 MAML 유사 메타학습 최적화 전략을 적용한다.
• SiG, SiLG, CAG, SoG의 네 가지 정보 공유 메커니즘을 아블레이션 및 비교 분석을 통해 평가한다.
• 성격 특성(OCEAN)에는 다중 레이블 분류 헤드를, 감정에는 다중 클래스 헤드를 사용하며, 각각 시그모이드 및 소프트맥스 활성화 함수를 적용한다.
• SoG 게이트의 최적 배치 위치를 특정하기 위해, 합성곱, 풀링, 완전 연결 레이어에서의 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 SiG, SiLG, CAG, SoG 중 어느 정보 공유 메커니즘이 다중 작업 성격 및 감정 검출에서 가장 높은 성능을 낼 수 있는가?
• RQ2 SoG 게이트가 합성곱, 풀링, 완전 연결 레이어 등 다양한 네트워크 레이어에 위치할 경우 모델 성능과 정보 흐름에 어떤 영향을 미치는가?
• RQ3 MAML 유사 최적화 전략은 다중 소스 데이터를 활용한 다중 작업 학습에서 모델 일반화 및 성능 향상에 기여하는가?
• RQ4 단일 작업 기반 베이스라인 대비 성격 및 감정을 동시에 학습하는 것이 성능 향상에 기여하는가?

주요 결과

• SoGMTL은 성격 및 감정 검출을 위한 여러 데이터셋에서 최신 기술 수준의 성능을 달성하며, 단일 작업 모델 및 대규모 언어 모델 기반 접근 방식을 모두 능가한다.
• SiG, SiLG, CAG 대비 SoG 게이트 메커니즘이 성능 향상에 뚜렷한 기여를 하며, 특히 합성곱 레이어에 위치할 경우 가장 우수한 성능을 기록한다.
• 아블레이션 연구 결과, SoG 게이트가 합성곱 레이어에 위치할 경우 가장 효과적인 것으로 확인되었으며, 이는 F1 점수(72.03%)가 가장 높고 최적의 정보 공유 구성과의 코사인 유사도(0.32)도 가장 높기 때문이다.
• MAML 유사 최적화 전략은 특히 다수의 데이터 소스에서 학습할 경우 모델의 일반화 능력을 향상시킨다.
• 케이스 스터디를 통해 SoGMTL은 다중 레이블 성격 및 다중 클래스 감정 작업 모두에 대해 명확하고 확신 있는 예측을 생성하며, 이는 뚜렷한 결정 경계를 형성하고 있음을 시사한다.
• 모델는 계산적으로 효율적이며, SoG는 경쟁적인 추론 속도를 보이므로 실세계 구현에 적합하다.