[논문 리뷰] HarperValleyBank: A Domain-Specific Spoken Dialog Corpus

Mike Wu, Jonathan Nafziger외 2명|arXiv (Cornell University)|2020. 10. 26.

Topic Modeling참고 문헌 34인용 수 12

한 줄 요약

HarperValleyBank는 의도, 대화 동작, 화자 신원, 정서적 평가 등에 대한 주석이 포함된 23시간 분량의 인간 간 은행 대화로 구성된 공개적이고 도메인 특화된 구두 대화 코퍼스이다. 본 논문은 이 코퍼스를 바탕으로 대비 학습 방법(예: SimCLR, MoCo)을 활용한 비지도 표현 학습 기준을 수립하였으며, 이러한 모델이 의도 예측에서 Wav2Vec보다 최대 70%의 상대적 향상을 이룬 것으로 나타났다. 그러나 대화 동작 예측은 대규모 사전 훈련에도 불구하고 여전히 도전 과제로 남아 있다.

ABSTRACT

We introduce HarperValleyBank, a free, public domain spoken dialog corpus. The data simulate simple consumer banking interactions, containing about 23 hours of audio from 1,446 human-human conversations between 59 unique speakers. We selected intents and utterance templates to allow realistic variation while controlling overall task complexity and limiting vocabulary size to about 700 unique words. We provide audio data along with transcripts and annotations for speaker identity, caller intent, dialog actions, and emotional valence. The data size and domain specificity makes for quick transcription experiments with modern end-to-end neural approaches. Further, we provide baselines for representation learning, adapting recent work to embed waveforms for downstream prediction tasks. Our experiments show that tasks using our annotations are sensitive to both the model choice and corpus size.

연구 동기 및 목표

• 말 처리 분야의 연구 및 교육를 위해 자유롭게 이용 가능하고, 관리가 용이하며 현실적인 코퍼스를 제공하기 위해.
• 목표 지향적 음성 대화 시스템에서 엔드 투 엔드 신경망 모델 및 다중 작업 학습의 평가를 가능하게 하기 위해.
• 의도 및 동작 예측과 같은 후행 작업에 효과적으로 전이되는 비지도 표현 학습 기준을 수립하기 위해.
• 저자원 환경에서 모델 아키텍처와 코퍼스 크기의 표현 품질에 미치는 영향을 평가하기 위해.
• 말 처리 시스템에서 도메인 간 전이 학습 및 표현 정렬에 관한 연구를 지원하기 위해.

제안 방법

• 코퍼스는 Gridspace Mixer 플랫폼을 통해 커뮤니티 워커를 고객과 상담원으로 짝지어 시뮬레이션된 은행 거래를 통해 수집되었다.
• 대화는 템플릿을 사용해 스크립트화되어 어휘 수량(~700단어)을 통제하고 의도 및 슬롯 다양성을 확보하면서도 작업의 단순성을 유지하였다.
• 음성 데이터는 텍스트 전사 및 화자 신원, 고객 의도, 대화 동작, 정서적 평가에 대한 주석과 함께 제공되었다.
• 비지도 표현 학습은 컴퓨터 시각 분야에서 유래한 대비 학습 방법을 응용하여 수행되었으며, 대표적으로 인스턴스 식별(Instance Discrimination, IR), 국소 집합(Local Aggregation, LA), 동량 대비(Momentum Contrast, MoCo), SimCLR 등이 사용되었다.
• 스펙트로그램은 웨이브폼에서 계산되었고, z-스코어 정규화 및 시간/주파수 마스킹 또는 웨이브폼 자르기 등을 통한 증강이 이루어졌다; 표현은 후행 작업에서 선형 프로빙을 통해 평가되었다.
• 사전 훈련에는 LibriSpeech 데이터의 100시간 또는 960시간을 사용하였으며, 모델은 HarperValleyBank에서 화자, 의도, 동작, 정서 예측을 위해 미세조정되었다.

실험 결과

연구 질문

• RQ1 작고 도메인 특화된 음성 대화 코퍼스에서 비지도 음성 표현 학습 방법은 얼마나 효과적인가?
• RQ2 더 큰 음성 데이터셋에서 사전 훈련을 수행할 경우 의도 및 대화 동작 예측의 후행 성능 향상은 어느 정도 이루어지는가?
• RQ3 의도 예측에 적합한 구분 능력을 갖춘 음성 표현을 학습하는 데 있어, 다양한 대비 학습 목표(SimCLR, MoCo 등)는 어떻게 비교되는가?
• RQ4 왜 대규모 사전 훈련을 하더라도 대화 동작 예측은 여전히 비지도 표현 학습에서 특히 어려운가?
• RQ5 대규모 사전 훈련에서 유도된 표현 전이가 저자원, 목표 지향적 대화 시스템에서 성능 향상에 효과적으로 기여하는가?

주요 결과

• 대비 학습 방법(SimCLR, MoCo 등)이 의도 예측에서 지도 학습 기준을 초월하여 Wav2Vec 대비 최대 70%의 상대적 향상을 기록하였다.
• 최고의 비지도 모델은 LibriSpeech 데이터 960시간을 사전 훈련한 결과 정서적 평가 예측에서 F1 점수 55.5%, 의도 예측에서 F1 점수 27.3%를 기록하였다.
• 대화 동작 예측은 여전히 큰 도전 과제로 남아 있었으며, 최고의 비지도 모델도 F1 점수 17.4%에 머물러 지도 학습 방법에 비해 훨씬 낮은 성능을 보였다.
• 스펙트럼 증강(시간/주파수 마스킹)은 LA 및 MoCo와 같은 모델에서 대화 동작 및 정서 예측 성능 향상에 기여하였다.
• LibriSpeech 데이터 960시간 사전 훈련은 100시간 사전 훈련 대비 의도 및 화자 식별에서 각각 10–15%p의 절대적 성능 향상을 이끌었다.
• Wav2Vec-2.0가 960시간의 LibriSpeech 데이터에서 사전 훈련한 결과 의도 예측 F1 점수 27.3%를 기록하였고, 동일한 데이터에서 SimCLR를 적용한 결과 역시 F1 점수 27.3%를 기록하여 다양한 대비 목표에서 강력한 성능을 보였다.