[论文解读] DSP.Ear: Leveraging Co-Processor Support for Continuous Audio Sensing on Smartphones

Petko Georgiev, Nicholas D. Lane+2 more|arXiv (Cornell University)|Sep 10, 2014

Music and Audio Processing参考文献 25被引用 5

一句话总结

DSP.Ear 是一种智能手机感知系统，利用低功耗 DSP 协处理器实现连续、同步的音频推理（如情绪检测、说话人计数和环境声音分类），与仅使用 CPU 的操作相比，能耗降低了 3–7 倍。通过优化流水线交错执行、模型紧凑性以及选择性 CPU 卸载，该系统在 80–90% 的日常使用场景中实现了全天候运行，且对电池影响极小。

ABSTRACT

The rapidly growing adoption of sensor-enabled smartphones has greatly fueled the proliferation of applications that use phone sensors to monitor user behavior. A central sensor among these is the microphone which enables, for instance, the detection of valence in speech, or the identification of speakers. Deploying multiple of these applications on a mobile device to continuously monitor the audio environment allows for the acquisition of a diverse range of sound-related contextual inferences. However, the cumulative processing burden critically impacts the phone battery. To address this problem, we propose DSP.Ear - an integrated sensing system that takes advantage of the latest low-power DSP co-processor technology in commodity mobile devices to enable the continuous and simultaneous operation of multiple established algorithms that perform complex audio inferences. The system extracts emotions from voice, estimates the number of people in a room, identifies the speakers, and detects commonly found ambient sounds, while critically incurring little overhead to the device battery. This is achieved through a series of pipeline optimizations that allow the computation to remain largely on the DSP. Through detailed evaluation of our prototype implementation we show that, by exploiting a smartphone's co-processor, DSP.Ear achieves a 3 to 7 times increase in the battery lifetime compared to a solution that uses only the phone's main processor. In addition, DSP.Ear is 2 to 3 times more power efficient than a naive DSP solution without optimizations. We further analyze a large-scale dataset from 1320 Android users to show that in about 80-90% of the daily usage instances DSP.Ear is able to sustain a full day of operation (even in the presence of other smartphone workloads) with a single battery charge.

研究动机与目标

• 为解决智能手机上连续音频感知带来的高能耗问题，该问题限制了实时行为推理应用的部署。
• 探索通用智能手机协处理器（如高通 Hexagon DSP）如何同时支持多个复杂音频推理流水线。
• 设计并实现一种系统，通过将计算卸载到 DSP 来最大化能效，同时最小化对主 CPU 的依赖。
• 利用包含 1,320 名 Android 用户的大规模用户数据集，在真实环境中评估系统的性能和电池效率。
• 识别出使移动设备上实现可持续、长时间音频感知成为可能的关键优化技术，且不降低用户体验。

提出的方法

• 该系统集成了五个现有的音频推理流水线：环境噪声分类、性别识别、说话人计数、说话人识别和情绪识别。
• 采用流水线优化策略，主要在 DSP 上交错执行这些任务，从而减少 CPU 参与。
• 使用准入过滤器对音频输入进行预筛选，以最小化不必要的处理，节省 DSP 资源。
• 利用声音检测器的局部性，将相似的推理任务分组，以减少 DSP 上的上下文切换开销。
• 应用跨流水线优化，共享特征提取和模型推理阶段，提升计算复用效率。
• 仅在必要时（如模型加载或复杂后处理）才进行选择性 CPU 卸载，以保持低能耗。

实验结果

研究问题

• RQ1 智能手机的低功耗 DSP 协处理器能否在无显著能耗开销的情况下，高效支持多个同时运行的复杂音频推理流水线？
• RQ2 各种系统级优化（如准入过滤、模型紧凑性、跨流水线共享）如何影响连续音频感知的能效和电池续航？
• RQ3 与仅使用 CPU 或未经优化的简单 DSP 部署相比，DSP.Ear 在真实使用场景中能多大程度上实现全天候运行？
• RQ4 当存在其他工作负载时，基于协处理器的感知对整体设备电池寿命有何影响？
• RQ5 该系统在多样化的真实用户环境和使用模式下的性能扩展性如何？

主要发现

• 与仅在主 CPU 上运行所有处理的基线方案相比，DSP.Ear 实现了 3 到 7 倍的电池续航提升。
• 与未采用优化技术的简单 DSP 部署相比，该系统能效高出 2 到 3 倍。
• 在 80–90% 的日常使用场景中，DSP.Ear 即使在设备存在并发工作负载的情况下，也能在单次充电下连续运行一整天。
• 使用紧凑的分类模型和选择性 CPU 卸载，显著降低了 DSP 上的内存压力和能耗。
• 跨流水线优化和基于局部性的任务调度减少了上下文切换，提升了协处理器上的计算复用效率。
• 该系统表明，配备 DSP 协处理器的通用智能手机无需定制硬件或云卸载，即可支持复杂且并发的音频感知。