[论文解读] MPEG-H Audio for Improving Accessibility in Broadcasting and Streaming

Christian Simon, Matteo Torcoli+1 more|arXiv (Cornell University)|Sep 25, 2019

Subtitles and Audiovisual Media参考文献 14被引用 5

一句话总结

本文提出利用MPEG-H Audio的基于对象的音频（OBA）技术，通过支持动态、用户可控的音频调整（如对话增强和音频描述），提升广播与流媒体中的可访问性。通过将音频元素视为可独立调整音量和位置的独立对象，MPEG-H Audio可在几乎不改变现有工作流程的前提下，实现个性化的听觉体验，显著提升听力障碍者、老年人及非母语使用者的语音可懂度。

ABSTRACT

Broadcasting and streaming services still suffer from various levels of accessibility barriers for a significant portion of the population, limiting the access to information and culture, and in the most severe cases limiting the empowerment of people. This paper provides a brief overview of some of the most common accessibility barriers encountered. It then gives a short introduction to object-based audio (OBA) production and transport, focusing on the aspects relevant for lowering accessibility barriers. MPEG-H Audio is used as a concrete example of an OBA system already deployed. Two example cases (dialog enhancement and audio description) are used to demonstrate in detail the simplicity of producing MPEG-H Audio content providing improved accessibility. Several other possibilities are outlined briefly. We show that using OBA for broadcasting and streaming content allows offering several accessibility features in a flexible manner, requiring only small changes to the existing production workflow, assuming the receiver supports the functionality.

研究动机与目标

• 解决广播与流媒体中听力障碍、认知障碍或语言相关挑战人群长期存在的可访问性障碍。
• 展示基于对象的音频（OBA）系统（如MPEG-H Audio）如何在不彻底重构现有制作工作流程的前提下，提供可定制的音频体验。
• 展示利用MPEG-H Audio元数据和预设实现对话增强与音频描述的实际应用。
• 强调用户交互与元数据驱动渲染在实现包容性音频交付中的作用。
• 通过证明其可行性与低集成成本，推动OBA在媒体制作中的采用。

提出的方法

• 使用MPEG-H Audio的基于对象的音频（OBA）框架，将音频元素（如对话、音乐、音效）分离为独立的音频对象，并附带相关元数据。
• 应用动态增益元数据以控制音频对象的相对音量，例如在“Dialog+”预设中将对话音量提升+6 dB，以提升可懂度。
• 通过定义可调节的增益范围（如对话±9 dB，音频描述±6 dB）和空间定位（如水平方向±180°，垂直方向0–30°）实现用户交互。
• 使用制作工具监控音频场景，测试下混版本，并在编码前验证渲染行为。
• 以ADM或MPF格式导出音频与元数据，以集成至广播与流媒体工作流。
• 利用源分离技术（如[28]中所述）从现有混音内容中提取对话与背景音轨，当无法获取独立音轨时使用。

实验结果

研究问题

• RQ1 基于对象的音频如何降低听力障碍人群在广播与流媒体中的可访问性障碍？
• RQ2 MPEG-H Audio的动态元数据与交互功能在嘈杂或复杂的音频环境中，能在多大程度上提升语音可懂度？
• RQ3 在几乎不改变现有制作流程的前提下，集成音频描述与对话增强功能的可行性如何？
• RQ4 用户控制的音频调整（如音量与位置）对感知可访问性与用户体验有何影响？
• RQ5 基于OBA的系统（如MPEG-H Audio）能否有效支持多语言与简化语言内容的分发？

主要发现

• MPEG-H Audio通过‘Dialog+’预设实现对话增强，采用+6 dB的静态增益偏移，显著提升听力困难用户的语音可懂度。
• 通过增益（如±9 dB）与空间定位（如水平方向±180°，垂直方向0–30°）的用户交互，可在不重新编码内容的前提下实现个性化音频体验。
• 音频描述可通过专用预设实现，当AD音轨激活时，动态衰减主混音，利用导出的DAW自动化作为动态增益元数据。
• 该方法通过源分离技术将传统内容转换为对话与背景组件，实现向后兼容，使旧内容可适配新系统。
• 制作工作流程可轻松扩展以支持可访问性功能，仅需对现有制作流程进行最小改动，依赖播放时的元数据驱动渲染。
• MPEG-H Audio的用户界面允许直观控制音频对象的显著程度与位置，使终端用户能够根据个人需求自定义音频场景。