[论文解读] High Performance Computer Acoustic Data Accelerator: A New System for Exploring Marine Mammal Acoustics for Big Data Applications

Peter J. Dugan, John A. Zollweg+5 more|arXiv (Cornell University)|Sep 11, 2015

Underwater Acoustics Research参考文献 20被引用 12

一句话总结

本文介绍了DeLMA和ADA，这是一种高性能分布式系统，利用机器学习加速海洋哺乳动物声学数据的分析。通过利用64核HPC集群，该系统相较于串行桌面处理实现了高达44倍的加速，能够高效分析来自19次东海岸部署的超过三百万小时的音频数据通道。

ABSTRACT

This paper presents a new software model designed for distributed sonic signal detection runtime using machine learning algorithms called DeLMA. A new algorithm--Acoustic Data-mining Accelerator (ADA)--is also presented. ADA is a robust yet scalable solution for efficiently processing big sound archives using distributing computing technologies. Together, DeLMA and the ADA algorithm provide a powerful tool currently being used by the Bioacoustics Research Program (BRP) at the Cornell Lab of Ornithology, Cornell University. This paper provides a high level technical overview of the system, and discusses various aspects of the design. Basic runtime performance and project summary are presented. The DeLMA-ADA baseline performance comparing desktop serial configuration to a 64 core distributed HPC system shows as much as a 44 times faster increase in runtime execution. Performance tests using 48 cores on the HPC shows a 9x to 12x efficiency over a 4 core desktop solution. Project summary results for 19 east coast deployments show that the DeLMA-ADA solution has processed over three million channel hours of sound to date.

研究动机与目标

• 解决处理大规模海洋哺乳动物声学数据档案时的计算瓶颈问题。
• 开发一种可扩展的分布式系统，以加速基于机器学习的声学信号检测。
• 实现对海洋哺乳动物监测部署产生的大规模音频数据档案的高效、实时探索。
• 利用高性能计算（HPC）和分布式计算框架，缩短大规模生物声学数据集的处理时间。
• 支持大规模、长期的生物声学监测项目，例如康奈尔大学生物声学研究计划所开展的项目。

提出的方法

• DeLMA框架支持在多个计算节点上分布执行机器学习算法，用于声学信号检测。
• 声学数据挖掘加速器（ADA）算法专为利用并行计算架构高效处理大型音频档案而设计。
• 系统采用客户端-服务器模型，将音频处理任务分发到64核集群中的各个节点，优化负载均衡和数据吞吐量。
• ADA采用优化的信号处理流水线和机器学习推理例程，以加速检测海洋哺乳动物的叫声。
• 系统部署于高性能计算（HPC）基础设施上，支持面向大数据工作负载的水平扩展。
• 通过将真实世界音频数据集的串行桌面执行与分布式HPC执行进行对比，对性能进行基准测试。

实验结果

研究问题

• RQ1 如何在大规模音频档案上，通过分布式计算加速基于机器学习的海洋哺乳动物叫声检测？
• RQ2 在高性能计算集群上分布声学信号处理，能实现多大的性能提升？
• RQ3 可扩展的分布式系统在多大程度上能缩短处理多TB生物声学数据集的时间？
• RQ4 与标准桌面硬件上的传统串行处理相比，DeLMA-ADA流水线在效率和吞吐量方面表现如何？
• RQ5 该系统在真实世界海洋监测应用中，能否在长期、大规模部署中保持高性能和高可靠性？

主要发现

• 与串行桌面配置相比，DeLMA-ADA系统在64核HPC集群上运行时，运行时间最快可提升44倍。
• 在HPC系统上使用48个核心时，系统性能相比4核桌面解决方案提升了9至12倍。
• 该系统已成功处理来自19次东海岸部署的超过三百万小时的海洋声学数据。
• 分布式架构实现了高效的负载分配，支持对连续、长时间音频记录的高吞吐量处理。
• 系统表现出良好的线性可扩展性，随着核心数量的增加，性能提升保持一致。
• DeLMA-ADA流水线已达到生产就绪状态，并被康奈尔大学生物声学研究计划实际用于真实世界的海洋哺乳动物监测。