[论文解读] Interactive Sound Rendering on Mobile Devices using Ray-Parameterized Reverberation Filters

Carl Schissler, Dinesh Manocha|arXiv (Cornell University)|Mar 1, 2018

Speech and Audio Processing参考文献 29被引用 6

一句话总结

本文提出了一种实时、适用于移动设备的声音渲染系统，结合了光线追踪的混响冲激响应与基于射线参数化的混响滤波器，采用球谐表示法。通过从低采样率冲激响应中估算混响参数，并对每个听者执行固定数量的卷积操作，该方法相比基于卷积的方法实现了10倍以上的速度提升和10倍以上的内存减少，首次实现在智能手机上高质量的交互式音频。

ABSTRACT

We present a new sound rendering pipeline that is able to generate plausible sound propagation effects for interactive dynamic scenes. Our approach combines ray-tracing-based sound propagation with reverberation filters using robust automatic reverb parameter estimation that is driven by impulse responses computed at a low sampling rate.We propose a unified spherical harmonic representation of directional sound in both the propagation and auralization modules and use this formulation to perform a constant number of convolution operations for any number of sound sources while rendering spatial audio. In comparison to previous geometric acoustic methods, we achieve a speedup of over an order of magnitude while delivering similar audio to high-quality convolution rendering algorithms. As a result, our approach is the first capable of rendering plausible dynamic sound propagation effects on commodity smartphones.

研究动机与目标

• 在低功耗移动设备上实现动态虚拟环境中逼真、交互式的声音传播。
• 克服基于卷积的音频渲染在移动平台上的计算与内存限制。
• 开发一种在大幅降低处理开销的同时保持方向性与空间音频质量的方法。
• 在复杂场景中支持多个移动声源时，实现低延迟、低内存使用的实时性能。

提出的方法

• 该方法利用低采样率的光线追踪冲激响应，实时估算混响参数。
• 采用统一的球谐表示法同时处理声音传播与听觉化，实现高效的定向声音建模。
• 基于光线追踪结果对混响滤波器进行参数化，实现对场景变化的动态适应。
• 系统对每个听者执行固定数量的卷积操作，与声源数量无关。
• 使用球谐系数表示定向声场，实现与短冲激响应的高效卷积。
• 应用时间一致性技术以提升音频质量，尽管可能略微降低对快速变化的响应速度。

实验结果

研究问题

• RQ1 是否能够通过计算高效的音频渲染流水线，在移动设备上实现与基于卷积的方法相当的音频质量？
• RQ2 在计算资源有限的条件下，如何高效建模动态场景中具有方向性与时间变化特性的混响？
• RQ3 低采样率的冲激响应是否能有效用于估算高保真混响参数，以支持实时音频渲染？
• RQ4 在交互式音频系统中，用人工混响替代卷积时，音频质量与计算效率之间的权衡如何？
• RQ5 球谐表示在多大程度上能降低内存与计算成本，同时保持空间音频保真度？

主要发现

• 所提出的方法相比传统基于卷积的声音渲染流水线，速度提升超过10倍。
• 内存使用量减少了约10倍，从而在移动设备上支持更多并发声源。
• 该系统首次在市售智能手机上成功实现了高质量、交互式且物理上合理的音频渲染。
• 主观评价显示，参与者在所提方法与基于卷积的渲染之间无显著偏好，表明在大多数情况下感知质量相当。
• 在空间站场景中观察到对所提方法存在微小但一致的偏好，表明其在特定场景中可能存在优势。
• 通过基于球谐的空间表示，即使在计算负载降低的情况下，该方法仍能保持良好的方向性音频质量。