[논문 리뷰] Can Large Language Models Aid in Annotating Speech Emotional Data? Uncovering New Frontiers

Siddique Latif, Muhammad Usama외 2명|arXiv (Cornell University)|2023. 07. 12.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대화형 대규모 언어 모델(Large Language Models, LLMs), 특히 ChatGPT를 사용하여 음성 정서 데이터를 음성 맥락(예: 톤, 에너지, 성별 등)과 함께 애너테이션하는 방법을 제안한다. 음성 데이터를 이산적 특징으로 변환하는 VQ-VAE를 활용하고, 소수의 예시를 통한 프롬프팅(few-shot prompting)을 적용함으로써 데이터 증강을 통해 음성 정서 인식(Speech Emotion Recognition, SER) 성능을 향상시키며, 텍스트 전용 LLM 애너테이션보다 우수하고 IEMOCAP 및 MSP-IMPROV 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite recent advancements in speech emotion recognition (SER) models, state-of-the-art deep learning (DL) approaches face the challenge of the limited availability of annotated data. Large language models (LLMs) have revolutionised our understanding of natural language, introducing emergent properties that broaden comprehension in language, speech, and vision. This paper examines the potential of LLMs to annotate abundant speech data, aiming to enhance the state-of-the-art in SER. We evaluate this capability across various settings using publicly available speech emotion classification datasets. Leveraging ChatGPT, we experimentally demonstrate the promising role of LLMs in speech emotion data annotation. Our evaluation encompasses single-shot and few-shots scenarios, revealing performance variability in SER. Notably, we achieve improved results through data augmentation, incorporating ChatGPT-annotated samples into existing datasets. Our work uncovers new frontiers in speech emotion classification, highlighting the increasing significance of LLMs in this field moving forward.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 음성 정서 인식(SER) 분야에서 인간 애너테이션 데이터셋의 부족 문제를 해결하는 데 효과적으로 활용될 수 있는지 조사하는 것.
• 텍스트 기반 LLM 애너테이션의 한계를 극복하기 위해 음성 특징(예: 톤, 에너지, 성별 등)을 통합하여 맥락 인식 능력을 향상시키는 것.
• VQ-VAE를 통한 음성 표현과 LLM을 융합한 새로운 파이프라인을 개발하여 SER 분야에서 정확도 향상된 정서 애너테이션을 구현하는 것.
• 인간 애너테이션 데이터와 비교하여 LLM 기반 애너테이션의 성능을 평가하고, SER 모델의 데이터 증강에 있어 활용 가능성을 분석하는 것.
• 정서 컴퓨팅 분야에서 대규모 데이터 애너테이션에 LLM을 사용할 경우 비용과 정확도 사이의 상충 관계를 탐색하는 것.

제안 방법

• 저자는 ChatGPT를 사용하여 음성 텍스트를 입력으로 받아 정서 레이블을 생성하며, 이를 제로샷 또는 소수의 예시를 통한 프롬프팅 방식으로 활용한다.
• 새로운 음성 맥락 통합 방법을 제안하여 평균 에너지, 톤, 화자 성별 정보를 LLM 프롬프트에 통합함으로써 애너테이션의 관련성 향상에 기여한다.
• 벡터 양자화된 변동형 오토인코더(VQ-VAE)를 사용하여 원시 음성 신호를 고정 길이의 이산적 표현으로 변환하고, 이를 프롬프트에 음성 맥락으로 포함시킨다.
• 소수의 예시를 포함한 프롬프팅(few-shot prompting) 방식을 적용하여 애너테이션의 일관성과 정확도를 향상시킨다.
• LLM이 생성한 애너테이션을 활용해 기존 인간 애너테이션 기반 SER 데이터셋(IEMOCAP, MSP-IMPROV 등)을 증강하고, 재학습을 통해 성능 향상을 평가한다.
• 표준 SER 평가 지표(예: 정확도, F1 점수)를 사용하여 테스트 세트에서 인간 애너테이션 데이터, LLM 기반 애너테이션 데이터, 하이브리드 데이터셋 기반 모델의 성능을 비교 분석한다.

실험 결과

연구 질문

• RQ1 텍스트 전용 입력에 의존할 경우, ChatGPT와 같은 LLM이 음성 정서 데이터를 효과적으로 애너테이션할 수 있는가?
• RQ2 프롬프트에 음성 특징(예: 톤, 에너지, 성별 등)을 통합할 경우 애너테이션 품질에 어떤 영향을 미치는가?
• RQ3 LLM 기반 애너테이션을 활용한 데이터 증강이 음성 정서 인식 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 소수의 예시를 통한 프롬프팅(few-shot prompting)이 제로샷 프롬프팅 대비 애너테이션의 일관성과 정확도, 모델 성능에 어떤 영향을 미치는가?
• RQ5 정서 컴퓨팅 분야에서 음성 정서 데이터를 애너테이션할 때 LLM과 인간 애너테이터 간의 비용과 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 텍스트 전용 LLM 애너테이션은 음성 맥락의 부재로 인해 음성 정서 인식 작업에 효과적으로 일반화되지 못했다.
• 톤, 에너지, 성별 등의 음성 맥락을 LLM 프롬프트에 통합함으로써 애너테이션 품질과 SER 성능이 크게 향상되었다.
• VQ-VAE를 통해 음성을 이산적 특징으로 인코딩함으로써 프롬프트 내 음성 맥락 표현이 향상되어 보다 정확한 정서 예측이 가능해졌다.
• 소수의 예시를 포함한 프롬프팅(few-shot prompting)은 제로샷 프롬프팅 대비 LLM 생성 애너테이션의 일관성과 정확도를 크게 향상시켰다.
• LLM 기반 애너테이션을 통한 데이터 증강은 IEMOCAP 및 MSP-IMPROV 데이터셋에서 SER 모델의 성능 향상에 기여하였으며, 일부 경우 인간 애너테이션 데이터만으로 학습한 모델보다 우수한 성능을 기록했다.
• ChatGPT를 사용해 IEMOCAP 데이터를 애너테이션하는 데 약 $30의 비용이 소요되었으며, 인간 애너테이션 대비 상당한 비용 절감 효과가 있었지만 정확도에 대한 상당한 희생이 수반되었다.