[논문 리뷰] Third DIHARD Challenge Evaluation Plan

Neville Ryant, Kenneth Church외 4명|arXiv (Cornell University)|2020. 06. 04.

Speech Recognition and Synthesis인용 수 13

한 줄 요약

제3회 DIHARD 챌린지 평가 계획은 실제 환경에서의 어려운 음성 기록을 중심으로 한 화자 디아라이제이션 경쟁을 다루며, 두 가지 트랙으로 구성된다: 하나는 참조 음성 활동 검출(SAD)을 사용하고, 다른 하나는 원시 음성에서의 평가이다. 새로운 데이터 도메인으로 대화형 전화 음성과 확장된 임상 기록을 포함하며, NIST의 스코링 인fra를 활용하고, 핵심 및 전체 평가 세트에서 표준화된 평가를 통해 재현 가능성을 강조한다. 결과는 2021년 1월 온라인 워크숍에서 발표될 예정이다.

ABSTRACT

<pre>Evaluation plan for the the third DIHARD challenge.</pre>

연구 동기 및 목표

• 실제 환경에서의 다양한 어려운 음성 데이터셋을 제공하여 화자 디아라이제이션 연구를 촉진한다.
• 참조 SAD를 사용하는 시스템과 원시 음성에서의 엔드 투 엔드 디아라이제이션을 모두 평가한다.
• 표준화된 스코링, 제출 지침, 상세한 시스템 기술서를 통해 재현 가능성과 공정한 비교를 확보한다.
• 공개 평가 플랫폼과 온라인 워크숍을 통해 협업과 벤치마킹을 촉진한다.
• 이전 챌린지의 범위를 초월하여 대화형 전화 음성과 향상된 임상 데이터를 포함하지만, 라이선스 및 도메인 특화 과제로 인해 어린이 음성은 제외한다.

제안 방법

• 이 챌린지는 두 가지 평가 트랙을 사용한다: 트랙 1은 디아라이제이션을 위한 참조 음성 활동 검출(SAD)을 제공하며, 트랙 2는 시스템이 원시 음성에서 자체 SAD를 수행하도록 요구한다.
• 평가 대상은 균형 잡힌 핵심 평가 세트와 균형이 깨진 전체 평가 세트로 구성되며, 임상, 전화, 브로드캐스트, 회의 기록 등 다양한 도메인에서 유래한다.
• 스코링은 NIST가 주관하는 웹 인터페이스를 통해 수행되며, 공식 메트릭으로는 표준화된 스코링 툴이 계산하는 디아라이제이션 오류율(DER)과 조인트 오류율(JER)이 포함된다.
• 참가자는 IEEE 컨퍼런스 템플릿을 사용해 시스템 기술서를 제출해야 하며, 데이터 자원, 알고리즘 구성 요소, 하이퍼파라미터 튜닝, 하드웨어 요구 사항을 상세히 기술해야 한다.
• 평가에는 이전에 공개되지 않은 20시간의 대화형 전화 음성(피셔 영어 단계 2 컬렉션에서)과 4시간의 신규 임상 음성 자료와 같은 새로운 데이터 소스가 포함된다.
• 모든 제출물은 핵심 평가 세트와 전체 평가 세트에서 모두 평가되며, 결과는 공개 랭킹순위에 표시되고 시스템 기술서에 보고된다.

실험 결과

연구 질문

• RQ1 중복된 말소리와 열악한 신호 품질을 가진 실제 환경의 어려운 음성에서 디아라이제이션 시스템의 성능은 어떠한가?
• RQ2 참조 SAD를 사용하는 시스템과 SAD를 처음부터 수행하는 시스템 간의 성능 격은 어느 정도인가?
• RQ3 대화형 전화 음성과 확장된 임상 기록의 포함 여부가 시스템의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 다양한 데이터 자원과 모델 아키텍처는 디아라이제이션 성능 향상에 어느 정도 기여하는가?
• RQ5 균형 잡힌 평가 세트와 균형이 깨진 평가 세트를 사용할 경우 평가 메트릭의 안정성과 신뢰성은 어느 정도인가?

주요 결과

• 핵심 평가 세트는 도메인 간 균형 잡힌 성능 측정을 보장하여 어떤 한 데이터 유형이 지배하는 것을 방지한다.
• 전체 평가 세트는 CLINICAL 및 CTS 도메인의 추가 자료를 포함하여 더 큰, 더 안정적인 메트릭 기반을 제공하지만 도메인의 균형이 깨지는 비용이 수반된다.
• 이 챌린지는 대화형 전화 음성(20시간)과 4시간의 신규 임상 기록을 도입하여 실제 환경 조건의 다양성을 확장한다.
• 모든 평가 활동—등록, 제출, 스코링, 랭킹순위 표시—는 일관성과 재현 가능성을 위해 NIST의 OpenSAT 플랫폼을 통해 관리된다.
• 시스템 기술서에는 하드웨어 및 소프트웨어 사양을 상세히 포함해야 하며, 이를 통해 학습 및 추론 설정의 완전한 재현이 가능하다.
• 스코링은 DER 및 JER를 계산하는 표준화된 툴을 사용하여 수행되며, 핵심 평가 세트와 전체 평가 세트 모두에 대해 결과가 보고된다.