[논문 리뷰] MeetEval: A Toolkit for Computation of Word Error Rates for Meeting Transcription Systems

Thilo von Neumann, Christoph Boeddeker외 2명|arXiv (Cornell University)|2023. 07. 21.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

MeetEval는 모임 음성 전사 시스템을 위한 단어 오류율(WER) 메트릭을 구현하고 확장하는 오픈소스 툴킷이다. 시간 제약이 있는 WER(tcpWER)를 도입하여 타당한 시간적 정렬을 강제함으로써 매칭 정확도를 향상시킨다. 단어 수준의 타이밍을 세그먼트 수준의 태그로부터 근사화함으로써 더 나은 오류 평가와 더 빠른 계산을 달성하며, 5초 콜라지(±5초)를 사용하면 다양한 데이터셋에서 강인하고 현실적인 WER 점수를 얻을 수 있다.

ABSTRACT

MeetEval is an open-source toolkit to evaluate all kinds of meeting transcription systems. It provides a unified interface for the computation of commonly used Word Error Rates (WERs), specifically cpWER, ORC-WER and MIMO-WER along other WER definitions. We extend the cpWER computation by a temporal constraint to ensure that only words are identified as correct when the temporal alignment is plausible. This leads to a better quality of the matching of the hypothesis string to the reference string that more closely resembles the actual transcription quality, and a system is penalized if it provides poor time annotations. Since word-level timing information is often not available, we present a way to approximate exact word-level timings from segment-level timings (e.g., a sentence) and show that the approximation leads to a similar WER as a matching with exact word-level annotations. At the same time, the time constraint leads to a speedup of the matching algorithm, which outweighs the additional overhead caused by processing the time stamps.

연구 동기 및 목표

• 모임 전사 평가에서 사용되는 다수의 WER 메트릭을 계산하기 위한 통합적이고 접근 가능한 툴킷을 제공하기 위해.
• 특히 다중 스트림 또는 겹치는 말하기 출력을 갖는 현대적 모임 전사 시스템을 위한 표준화되고 효율적이며 확장 가능한 도구의 부족을 보완하기 위해.
• 시간적 제약 조건을 매칭에 통합함으로써 WER 신뢰도를 향상시키고, 시간 태그가 불량한 시스템에 대해 보다 엄격한 평가를 제공하기 위해.
• 정확한 단어 수준 타이밍이 제공되지 않을 경우에도 굵은 세그먼트 수준 타이밍을 활용해 정확한 WER 계산을 가능하게 하기 위해.
• 시간적 프루닝을 통해 매칭 알고리즘의 검색 공간을 줄여 성능을 최적화하기 위해.

제안 방법

• 사용자가 정의한 콜라지 주변에서 참조 시간에 가까운 단어 매칭을 요구함으로써 시간적 타당성을 강제하는 tcpWER를 도입. 이는 cpWER의 확장판이다.
• 세그먼트 수준 타이밍에서 단어 수준 타이밍을 근사화하기 위한 단어 길이 기반 히우리스틱을 제안함으로써, 고정밀도 단어 수준 태그가 없더라도 WER 계산이 가능하도록 한다.
• 시간적으로 비현실적인 단어 쌍을 제거함으로써 매칭 속도를 향상시키기 위해 동적 프로그래밍과 프루닝을 활용한다. 이로 인해 런타임 복잡도가 감소한다.
• 참조 단어 타이밍 주변에 콜라지(예: ±5초)를 사용하여 허용 가능한 시간 정렬 창을 정의함으로써, 매칭의 현실성과 정확성을 향상시킨다.
• 다양한 출력 형식(다이아라이제이션 스타일, CSS 스타일, SOT 스타일)을 지원하며, 일반적인 시스템 출력과 통합되어 광범위한 호환성을 확보한다.
• cpWER, ORC-WER, MIMO-WER, tcpWER를 통합한 유일한 API를 제공함으로써, 메트릭 간 전환과 재현 가능한 평가를 용이하게 한다.

실험 결과

연구 질문

• RQ1 시간적 제약 조건을 통합함으로써 WER 메트릭을 어떻게 개선하여 실제 전사 품질을 반영할 수 있는가?
• RQ2 정확한 단어 수준 타이밍이 없더라도 세그먼트 수준 태그에서 단어 수준 타이밍을 신뢰성 있게 근사화할 수 있는가? 이 과정에서 WER 정확도에 심각한 손실가 발생하는가?
• RQ3 다중 화자 모임 전사에서 시간적 제약 조건이 WER 점수와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 콜라지 크기의 선택이 다양한 데이터셋에서 WER 점수의 강인성과 현실성에 어떤 영향을 미치는가?
• RQ5 시간적 프루닝이 매칭 품질에 영향을 주지 않으면서도 WER 계산의 계산 비용을 크게 줄일 수 있는가?

주요 결과

• tcpWER는 cpWER보다 항상 더 높은 WER 값을 산출하며, 특히 인식 성능가 낮은 데이터셋(예: CHiME-6: 62.4% 대비 66.6%)에서 더 큰 차이를 보였다.
• 5초 콜라지 사용 시, 비현실적인 정렬을 방지하면서 자연스러운 말 틈을 고려하여 현실적이고 강인한 WER 점수를 도출하였다.
• 세그먼트 수준 태그에서 단어 수준 타이밍을 근사화한 결과, 정확한 단어 수준 타이밍을 사용한 경우와 거의 동일한 WER 점수가 도출되어 히우리스틱 접근의 타당성을 입증하였다.
• tcpWER에 포함된 시간 제약 조건은 검색 공간을 줄여 뚜렷한 속도 향상을 가져왔으며, 기록 길이가 길수록 효과적인 프루닝으로 인해 실행 시간이 감소하였다.
• 툴킷은 수용 가능한 런타임 성능을 달성하였으며, 장시간 기록(예: 최대 134분)에 대해서도 실행 시간이 실용적인 수준을 유지하였고, 기록 길이가 길어질수록 속도 향상 효과가 더욱 두드러졌다.
• 특히 장시간 화자 정지나 다수의 화자 존재 시나리오에서 비현실적인 단어 매칭 수를 효과적으로 줄였으며, 이로 인해 cpWER와 tcpWER 간의 WER 차이가 과도하게 증가하는 것을 방지하였다.