[논문 리뷰] Dialog+ in Broadcasting: First Field Tests Using Deep-Learning-Based Dialogue Enhancement

Matteo Torcoli, Christian Simon외 10명|arXiv (Cornell University)|2021. 12. 17.

Radio, Podcasts, and Digital Media인용 수 8

한 줄 요약

이 논문은 기존의 오브젝트 기반 오디오 워크플로우가 필요로 하지 않는, 전통적인 믹스다운 오디오 트랙에서 사용자 조절이 가능한 대화 레벨을 제공함으로써 브로드캐스트 오디오의 음성 명료도를 향상시키는 딥러닝 기반 시스템 Dialog+를 제시한다. 2,000명 이상의 참가자가 참여한 현장 테스트에서 60세 이상 시청자의 90%가 자주 또는 매우 자주 음성 명료도 문제를 겪는 것으로 나타났으며, 83%는 Dialog+ 개선 기능을 선호하여 주로 사용자층을 위한 접근성 향상 효과를 입증했다.

ABSTRACT

Difficulties in following speech due to loud background sounds are common in broadcasting. Object-based audio, e.g., MPEG-H Audio solves this problem by providing a user-adjustable speech level. While object-based audio is gaining momentum, transitioning to it requires time and effort. Also, lots of content exists, produced and archived outside the object-based workflows. To address this, Fraunhofer IIS has developed a deep-learning solution called Dialog+, capable of enabling speech level personalization also for content with only the final audio tracks available. This paper reports on public field tests evaluating Dialog+, conducted together with Westdeutscher Rundfunk (WDR) and Bayerischer Rundfunk (BR), starting from September 2020. To our knowledge, these are the first large-scale tests of this kind. As part of one of these, a survey with more than 2,000 participants showed that 90% of the people above 60 years old have problems in understanding speech in TV "often" or "very often". Overall, 83% of the participants liked the possibility to switch to Dialog+, including those who do not normally struggle with speech intelligibility. Dialog+ introduces a clear benefit for the audience, filling the gap between object-based broadcasting and traditionally produced material.

연구 동기 및 목표

• 높은 배경 음향으로 인해 음성 명료도 문제가 발생하는 브로드캐스트 티비 문제를 해결함으로써, 특히 고령자나 听력 장애가 있는 시청자들에게 도움을 주기 위함.
• 오브젝트 기반 오디오 메타데이터나 워크플로우가 없는 레거시 오디오 콘텐츠에 대해 개인화된 대화 레벨 조절을 가능하게 하기 위함.
• 현대의 오브젝트 기반 오디오 시스템과 기존에 제작된 브로드캐스트 자료 사이의 격차를 메우기 위함.
• 딥러닝 기반 대화 강화 솔루션의 실생활 효과성과 사용자 수용도를 라이브, 대규모 현장 테스트를 통해 평가하기 위함.

제안 방법

• 딥 네ural 네트워크를 사용해 혼합된 스테레오 또는 모노 오디오 트랙에서 대화 성분을 분리하고 강화함.
• 청각적 명료도 모델을 기반으로 시간에 따라 변하는 대화 레벨을 추정하여 청취자마다 조절 가능하게 함.
• 재인코딩이나 메타데이터 변경 없이 기존 브로드캐스트 오디오 스트림에 실시간으로 강화 기능을 적용함.
• 공영 방송국인 WDR과 BR에서 실시간 브로드캐스트 워크플로우에 통합하여 현장 테스트 수행.
• 다양한 연령대를 포함한 실제 시청자 대상 대규모 설문 조사로 사용자 선호도 및 사용성 평가.
• 기존 배포 인프라와의 호환성을 고려해 설계되어 표준 오디오 포맷과의 후행 호환성을 확보함.

실험 결과

연구 질문

• RQ1 오브젝트 기반 오디오 워크플로우가 필요 없는 표준 브로드캐스트 오디오에서 딥러닝 기반 시스템이 대화 명료도를 효과적으로 향상시킬 수 있는가?
• RQ2 특히 고령자들이 실생활 브로드캐스트 조건에서 조절 가능한 대화 레벨을 어떻게 인지하고 반응하는가?
• RQ3 표준 오디오 대비 Dialog+가 청각 장애가 있는 시청자들의 음성 이해도를 어느 정도 향상시키는가?
• RQ4 청각 명료도 문제에 일반적으로 영향을 받지 않는 시청자들, 특히 일반 인구 집단 내에서 Dialog+의 사용자 수용률은 어떠한가?
• RQ5 후처리 방식이며 침입성이 없는 강화 시스템이 원천 오브젝트 기반 오디오 솔루션과 유사한 청각적 이점을 달성할 수 있는가?

주요 결과

• 60세 이상 참가자의 90%가 티브이 방송에서 음성을 이해하는 데 자주 또는 매우 자주 어려움을 겪었다.
• 청각 명료도 문제에 일반적으로 영향을 받지 않는 사람들까지 포함해 설문에 응답한 참가자들의 83%가 Dialog+ 개선 기능을 선호했다.
• 이 현장 테스트는 실시간 공영 방송 환경에서 딥러닝 기반 대화 강화 시스템을 대규모로 실생활에서 평가한 최초의 사례이다.
• Dialog+는 오브젝트 기반 오디오 워크플로우 외부에서 제작된 콘텐츠에 대해 사용자 조절이 가능한 대화 레벨을 성공적으로 제공했다.
• 시스템은 강력한 청각적 이점과 높은 사용자 수용도를 보였으며, 향후 오브젝트 기반 오디오 생태계로의 다리 역할을 할 수 있음을 입증했다.
• 결과적으로 딥러닝 기반 강화 기술이 주로 사용자층을 위한 접근성과 사용자 경험을 크게 향상시킬 수 있음을 확인했다.