[논문 리뷰] The fifth 'CHiME' Speech Separation and Recognition Challenge: Dataset, task and baselines

Jon Barker, Shinji Watanabe외 2명|arXiv (Cornell University)|2018. 03. 28.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 6개의 Kinect 마이크 어레이와 4개의 바이너럴 마이크 쌍을 사용해 20개의 실제 주방에서 기록한 자연스러운 대화 음성의 대규모 데이터셋을 포함하는 다섯 번째 CHiME 음성 분離 및 인식 챌린지를 소개한다. 챌린지는 반향이 강한 소음 환경에서 원거리 마이크, 다중 화자 ASR에 중점을 두며, 기준 성능에 큰 격차가 존재함을 보여준다 (예: Kinect에서 91.7% WER 대비 바이너럴에서 47.9% WER), 이는 고도의 음성 강화 및 강건한 ASR 기법의 필요성을 시사한다.

ABSTRACT

The CHiME challenge series aims to advance robust automatic speech recognition (ASR) technology by promoting research at the interface of speech and language processing, signal processing , and machine learning. This paper introduces the 5th CHiME Challenge, which considers the task of distant multi-microphone conversational ASR in real home environments. Speech material was elicited using a dinner party scenario with efforts taken to capture data that is representative of natural conversational speech and recorded by 6 Kinect microphone arrays and 4 binaural microphone pairs. The challenge features a single-array track and a multiple-array track and, for each track, distinct rankings will be produced for systems focusing on robustness with respect to distant-microphone capture vs. systems attempting to address all aspects of the task including conversational language modeling. We discuss the rationale for the challenge and provide a detailed description of the data collection procedure, the task, and the baseline systems for array synchronization, speech enhancement, and conventional and end-to-end ASR.

연구 동기 및 목표

• 반향, 소음, 원거리 마이크 캡처가 함께 존재하는 실제 주거 환경에서 강건한 자동 음성 인식(ASR) 기술의 발전.
• 실험실 기반 마이크 어레이 녹음과 상용으로 이용 가능한 실제 다중 마이크 시스템 간 격차를 메우기.
• 중복된 대화 음성에 대한 음성 강화, 어레이 동기화, 종단 간 ASR 연구를 촉진하기.
• 단일 어레이 및 다중 어레이 두 트랙을 제공하는 표준화된 벤치마크를 통해, 음향 강건성 또는 전면적인 대화 모델링에 중점을 둔 시스템 간 공정한 비교를 가능하게 하기.
• 재현 가능한 연구를 위해 Kinect 및 바이너럴 마이크를 사용해 기록한 대규모 공개 데이터셋을 제공하기

제안 방법

• 20개의 실제 주거 환경에서 6개의 Kinect 마이크 어레이와 4개의 바이너럴 마이크 쌍을 사용해 4인의 저녁 만찬 파티를 촬영하였다. 촬영은 주방, 식당, 거실의 세 가지 구역에서 이루어졌다.
• 각 파티는 최소 2시간 이상 기록되었으며, 주방 준비, 식사, 거실 활동의 세 단계를 포함해 자연스럽고 즉흥적인 대화와 움직임을 확보하였다.
• 신호 간 동기화를 위해 BeamformIt 툴킷을 사용해 다중 Kinect 장치 간 신호를 정렬하였다.
• ASR 디코딩 이전에 신호 품질 향상을 위해 비침식 기반 기법을 적용한 음성 강화를 수행하였다.
• 기존 ASR는 Kaldi에서 훈련한 GMM 및 LF-MMI TDNN 시스템을 사용하였으며, 종단 간 ASR는 PyTorch와 Chainer 백엔드를 사용한 하이브리드 CTC/attention 기반 모델을 활용하였다.
• 특징 추출은 로그-멜 필터뱅크와 피치 특징(83차원)을 사용하였으며, 훈련 및 추론을 위해 Kaldi 및 ESPnet 호환 형식으로 데이터를 준비하였다.

실험 결과

연구 질문

• RQ1 실제 주거 환경에서 원거리 마이크 어레이와 바이너럴 기준 마이크를 사용할 때, 기존 및 종단 간 ASR 시스템의 성능는 어떻게 달라지나?
• RQ2 주방 소음 및 화자 이동과 같은 실내 조건이 다양한 음향 환경에서 ASR 성능에 미치는 영향은 무엇인가?
• RQ3 음성 강화 기법이 기준 바이너럴 마이크와 챌린지 기준 Kinect 어레이 간 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 다양한 훈련 데이터 구성(예: 바이너럴 대비 Kinect 데이터)이 자원이 제한된 소음 및 반향 환경에서 종단 간 ASR 모델의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ5 다중 마이크, 대화 기반 설정에서 전체 ASR 성능에 기여하는 요소들인 어레이 동기화, 비침식, 언어 모델링의 상대적 기여도는 어떠한가?

주요 결과

• 기존 LF-MMI TDNN 시스템은 Kinect 어레이 기준에서 91.7% WER를 기록했으나, 바이너럴 기준 마이크에서는 47.9% WER를 기록하여 43.8%의 절대 성능 격차가 존재함을 확인하였다.
• 종단 간 ASR 시스템은 Kinect 어레이에서 94.7% WER를 기록하였고, GMM 기준보다는 우수한 성능를 보였지만 여전히 바이너럴 기준 마이크(67.2% WER)에 비해 뚜렷이 열등한 성능를 보였다.
• 성능가장 열악한 곳은 주방이었으며, WER는 87.3%로 높은 배경 소음과 증가한 화자 이동이 원인으로 보였다.
• 바이너럴 마이크 설정은 기존 GMM 시스템에서 72.8% WER를 기록하여, 시스템 평가에 대한 오라클 기준으로서의 가치를 입증하였다.
• 바이너럴 데이터로 훈련한 종단 간 모델은 GMM 시스템을 초월하여 성능을 냈으며, 제한된 훈련 데이터 조건에서도 종단 간 접근법이 유망한 것으로 나타났다.
• 챌린지 기준 성능 결과는 주로 소스-마이크 거리와 겹치는 대화가 문제의 핵심이며, 단순히 소음이나 반향만이 원인은 아니라는 점을 시사한다.