[논문 리뷰] Clarity: Machine Learning Challenges to Revolutionise Hearing Device Processing

Simone Graetzer, Michael A. Akeroyd외 6명|arXiv (Cornell University)|2020. 06. 19.

Hearing Loss and Rehabilitation인용 수 4

한 줄 요약

Clarity 프로젝트는 听力 장애를 가진 청취자들을 위한 음성 처리 향상과 청취 어려움 예측을 위해 개방형, 공개적인 기계학습 도전 대회를 개최한다. 개방형 데이터셋, 기준 모델, 인프라를 제공함으로써 연구자들이 원인 분석이 가능한 실시간 청각 보조기기 신호 처리 및 예측 알고리즘을 개발할 수 있도록 한다. 주요 성과로는 새로운 오픈소스 도구, 영국식 영어 음성-노이즈 환경 데이터베이스, 실제 청각 보조기기 성능 향상에 기여하는 알고리즘 향상이 있다.

ABSTRACT

In the Clarity project, we will run a series of machine learning challenges to revolutionise speech processing for hearing devices. Over five years, there will be three paired challenges. Each pair will consist of a competition focussed on hearing-device processing ("enhancement") and another focussed on speech perception modelling ("prediction"). The enhancement challenges will deliver new and improved approaches for hearing device signal processing for speech. The parallel prediction challenges will develop and improve methods for predicting speech intelligibility and quality for hearing impaired listeners. This Engineering and Physical Sciences Research Council (EPSRC) funded project involves researchers from the Universities of Sheffield, Salford, Nottingham and Cardiff in conjunction with the Hearing Industry Research Consortium, Action on Hearing Loss, Amazon, and Honda. To register interest in the challenges, go to www.claritychallenge.org.

연구 동기 및 목표

• 청각 장애를 가진 개인의 음성-노이즈 환경에서의 청취 능력 향상 문제를 해결함으로써 청각 보조기기 사용을 이끌지 못하는 주요 원인을 해결한다.
• 청각 장애 분야에 대한 연구 관심 부족을 극복하기 위해 기계학습 및 신호 처리 연구자들이 접근 가능한 개방형 자원을 제공한다.
• 공개 경쟁 대회를 통해 딥 러닝 및 자동 음성 인식 분야의 발전을 활용하여 청각 보조기기 처리 방식을 혁신한다.
• 다양한 청취 환경에서 실제 청각 보조기기 성능을 정확히 반영하는 음성 이해 가능성 예측 모델을 개발한다.
• 개방형 데이터, 모델, 인프라 제공을 통해 청각 기술 분야의 지속 가능한 장기 연구 생태계를 조성한다.

제안 방법

• 청각 보조기기 신호 향상(인과적 처리)에 중점을 둔 도전 대회와 청각 장애를 가진 청취자들을 위한 음성 이해 가능성 예측에 중점을 둔 도전 대회를 쌍으로 조직한다.
• 공간화된 오디오 생성 도구를 사용해 현실적인 양안 신호를 생성하여 생활실 환경에서 반사 및 비음성 간섭원(예: TV)을 시뮬레이션한다.
• 청각 손실, 청각 보조기기 처리, 음성 인지에 대한 기준 모델을 제공하여 평가의 표준화 및 진입 장벽을 낮춘다.
• 청각 장애가 있는지 여부에 관계없이 총 50명의 청취자로 구성된 청취자 패널을 활용해 태블릿과 헤드폰을 사용한 홈 기반 청취 테스트를 통해 실제 음성 이해 가능성 점수를 수집한다.
• 신호 향상 항목은 테스트 신호 전반의 평균 이해 가능성 점수를 기반으로 평가하고, 예측 항목은 예측된 점수와 측정된 점수 간의 평균 제곱오차를 사용하여 평가한다.
• 재현 가능성과 접근성을 확보하기 위해 가능한 한 개방형 시스템을 요구하고, 제공된 오디오 파일 및 신호 생성 도구 사용을 의무화한다.

실험 결과

연구 질문

• RQ1 어떻게 기계학습 모델을 개발하여 실제 노이즈가 있고 반사가 있는 환경에서 청각 보조기기의 음성 이해 가능성 수준을 크게 향상시킬 수 있는가?
• RQ2 신호 처리 및 청취자 특성에 기반해 예측 모델이 청각 장애를 가진 청취자들의 음성 이해 가능성 수준을 얼마나 정확하게 추정할 수 있는가?
• RQ3 개방형 데이터셋, 도구, 인프라는 청각 기기 기술 분야의 혁신을 가속화하고 연구자 참여를 넓히는 데 어떤 역할을 하는가?
• RQ4 표준화된 벤치마크와 평가 프로토콜을 갖춘 공개 도전 대회를 통해 청각 보조기기 신호 처리 및 청취 인지 모델링 분야에서 측정 가능한 향상이 이루어질 수 있는가?
• RQ5 자동 음성 인식 분야에서의 딥 러닝 및 데이터 기반 접근 방식은 청각 장애 적용 분야에 어떻게 적응 및 검증될 수 있는가?

주요 결과

• Clarity 프로젝트는 2020년 11월에 기계학습 도전 대회의 1라운드를 성공적으로 개최하였으며, 베타 버전은 2020년 10월에 출시되었다.
• 청각 장애 정도가 다양한 50명의 청취자가 홈 기반 청취 테스트에 참여하여 평가를 위한 측정된 음성 이해 가능성 점수를 제공하였다.
• 프로젝트는 영국식 영어 음성 녹음 자료(반음이 없는 조건)와 현실적인 실내 음향을 반영한 공간화된 음성-노이즈 신호를 포함한 개방형 데이터셋을 제공하였다.
• 청각 손실, 청각 보조기기 처리, 음성 인지에 대한 기준 모델이 개발되어 공개되어 일관된 벤치마크 평가를 지원하였다.
• 인공 청취자 프로파일 및 양안 오디오 신호 생성을 위한 재사용 가능한 도구를 개발하여 향후 도전 대회를 위한 지속 가능한 프레임워크를 구축하였다.
• 포괄적인 인프라 제공을 통해 연구자들이 청각 기술 전문 지식이 없더라도 참여할 수 있도록 하여 진입 장벽을 낮추는 데 성공하였다.