[논문 리뷰] On Word Error Rate Definitions and their Efficient Computation for Multi-Speaker Speech Recognition Systems

Thilo von Neumann, Christoph Boeddeker외 3명|arXiv (Cornell University)|2022. 11. 29.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 다중 발화자, 다중 채널 음성 인식 시스템(MIMO ASR)을 위한 일반화된 MIMO 단어 오류율(WER) 프레임워크를 제안하며, 다차원 레벤슈타인 거리 텐서 위에서 동적 프로그래밍을 사용해 효율적으로 WER를 계산함으로써 각 발화가 단일 가설 채널에 일관되게 매칭되도록 보장한다. 이 방법은 이전에는 지수적 복잡도였던 ORC WER의 다항식 시간 계산을 가능하게 하여 장시간 녹음 및 다양한 평가 환경에서의 실용성을 확보한다.

ABSTRACT

We propose a general framework to compute the word error rate (WER) of ASR systems that process recordings containing multiple speakers at their input and that produce multiple output word sequences (MIMO). Such ASR systems are typically required, e.g., for meeting transcription. We provide an efficient implementation based on a dynamic programming search in a multi-dimensional Levenshtein distance tensor under the constraint that a reference utterance must be matched consistently with one hypothesis output. This also results in an efficient implementation of the ORC WER which previously suffered from exponential complexity. We give an overview of commonly used WER definitions for multi-speaker scenarios and show that they are specializations of the above MIMO WER tuned to particular application scenarios. We conclude with a discussion of the pros and cons of the various WER definitions and a recommendation when to use which.

연구 동기 및 목표

• 다중 발화자, 다중 채널 음성 인식 시스템(MIMO)이 겹치는 말을 처리하고 다수의 출력 시퀀스를 생성하는 데 있어 통합적이고 효율적인 WER 정의의 부재를 해결한다.
• 기존의 WER 정의(예: ORC WER)가 다수의 발화가 포함된 녹음에서 평가가 불가능하게 만들던 지수적 계산 복잡도 문제를 해결한다.
• 기존의 WER 정의들(예: uWER, SA-WER, cpWER, ORC WER)을 통합된 MIMO WER 프레임워크의 특수 케이스로 일반화한다.
• 발화자 레이블이나 정확한 타이밍 정보가 필요 없이 WER 평가를 가능하게 하여, 엔드 투 엔드 모델을 포함한 다양한 ASR 시스템에 적용 가능하게 한다.
• ORC WER 및 기타 변형을 지원하는 MIMO WER 계산을 위한 효율적인 오픈소스 도구 MeetEval을 개발하고 공개한다.

제안 방법

• 참고 및 가설 시퀀스에 대해 다차원 레벤슈타인 거리 계산으로 MIMO WER를 수식화하며, 각 발화가 단일 가설 채널에 일관되게 매핑되어야 한다는 제약 조건을 도입한다.
• 동적 프로그래밍 설정에 채널 전환 토큰을 도입하여 다수의 출력 채널에 걸쳐 발화가 분할되는 것을 방지하고, 일관된 전사 평가를 보장한다.
• 검색 공간을 텐서로 구조화하고 과도한 열거를 방지하기 위한 제약 조건을 적용함으로써 다항식 시간 복잡도를 갖는 효율적인 동적 프로그래밍 알고리즘을 유도한다.
• 동일한 프레임워크를 활용해 ORC WER 계산의 복잡도를 발화 수에 대해 다항식 시간으로 감소시켜 장시간 녹음의 평가를 가능하게 한다.
• 알고리즘을 오픈소스 MeetEval 툴킷에 구현하여 다양한 입력 형식을 지원하고 기존 ASR 평가 파이프라인과의 통합을 가능하게 한다.
• 실제 회의 인식 시나리오에서 브루트포스 ORC WER, asclite, 기타 WER 변형과의 비교를 통해 효율성과 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 다중 발화자와 다중 출력 채널을 처리하는 MIMO ASR 시스템에 대해 통합적이고 일반적인 WER 정의를 어떻게 수립할 수 있는가?
• RQ2 기존의 WER 정의들(예: ORC WER)의 계산 복잡도는 얼마이며, 이를 지수적 복잡도에서 다항식 시간으로 감소시킬 수 있는가?
• RQ3 제안된 MIMO WER 프레임워크는 uWER, SA-WER, cpWER, ORC WER와 같은 기존 WER 정의들과 어떤 관계가 있으며, 어떻게 일반화하는가?
• RQ4 어떤 상황에서 MIMO WER 프레임워크가 기존 WER 정의들보다 우월하거나, 발화 분할 및 발화자 오인정과 같은 문제를 피할 수 있는가?
• RQ5 시간적 또는 발화자 수준의 애너테이션에 의존하지 않고도 이 프레임워크를 효율적으로 구현할 수 있으며, asclite와의 런타임 및 확장성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 MIMO WER 프레임워크는 uWER, SA-WER, cpWER, ORC WER를 다양한 제약 조건 하에 적용한 특수 케이스로 일반화한다.
• 다차원 레벤슈타인 텐서 위에서 동적 프로그래밍을 적용함으로써 ORC WER 계산의 복잡도가 지수적에서 다항식 시간으로 감소하여, 20개 이상의 발화가 포함된 녹음의 평가가 가능해졌으며 이는 이전에는 불가능했던 바이다.
• MIMO WER 및 ORC WER는 발화 수에 대해 다항식 런타임 복잡도를 보이며, 최대 100개의 발화에 대한 벤치마킹 결과에서 로그 스케일 런타임 플롯에서 오목한 곡선을 확인할 수 있었다.
• asclite 도구는 시간 애너테이션을 활용해 벤치마킹에서 거의 선형 성능를 보였지만, 복잡한 시나리오(예: mms_msg)에서는 복잡도가 급격히 증가하여 오직 제안된 ORC WER 구현만 유의미하게 유지되었다.
• MIMO WER 프레임워크는 발화자 레이블 및 타이밍 정보에 독립적이므로 엔드 투 엔드 ASR 시스템 및 이러한 애너테이션이 없는 아키텍처에도 적용 가능하다.
• 오픈소스 MeetEval 툴킷은 MIMO 시스템을 위한 효율적이고 확장 가능한 WER 평가를 가능하게 하며, ORC WER와 기타 변형을 지원하고, 기존 평가 파이프라인과의 통합도 가능하게 한다.