[论文解读] Broadcasted Residual Learning for Efficient Keyword Spotting

Byeonggeun Kim, Simyung Chang+2 more|arXiv (Cornell University)|Jun 8, 2021

Speech and Audio Processing参考文献 28被引用 8

一句话总结

本文提出了一种广播残差学习方法，通过频带平均和广播机制，将一维时间卷积与二维频-时域卷积相结合，实现高效且高精度的关键词检测。所提出的BC-ResNet架构在Google Speech Commands v1和v2数据集上分别实现了98.0%和98.7%的SOTA顶级准确率，且参数量与计算量极低。

ABSTRACT

Keyword spotting is an important research field because it plays a key role in device wake-up and user interaction on smart devices. However, it is challenging to minimize errors while operating efficiently in devices with limited resources such as mobile phones. We present a broadcasted residual learning method to achieve high accuracy with small model size and computational load. Our method configures most of the residual functions as 1D temporal convolution while still allows 2D convolution together using a broadcasted-residual connection that expands temporal output to frequency-temporal dimension. This residual mapping enables the network to effectively represent useful audio features with much less computation than conventional convolutional neural networks. We also propose a novel network architecture, Broadcasting-residual network (BC-ResNet), based on broadcasted residual learning and describe how to scale up the model according to the target device's resources. BC-ResNets achieve state-of-the-art 98.0% and 98.7% top-1 accuracy on Google speech command datasets v1 and v2, respectively, and consistently outperform previous approaches, using fewer computations and parameters. Code is available at https://github.com/Qualcomm-AI-research/bcresnet.

研究动机与目标

• 解决在资源受限的边缘设备上实现高精度关键词检测的同时最小化模型大小与计算成本的挑战。
• 克服纯一维或二维卷积的局限性：一维卷积缺乏频率平移等变性，而二维卷积计算成本过高。
• 设计一种轻量化、可扩展的神经网络架构，在不同设备资源约束下保持高性能。
• 通过一种新颖的残差连接机制，结合一维与二维卷积的优势，实现高效特征学习。

提出的方法

• 提出广播残差学习，将二维特征沿频率维度平均，生成一维时间特征，再经一维时间卷积处理，并广播回二维以实现残差连接。
• 使用频带深度可分离卷积结合子谱归一化（SSN），对频率组进行独立归一化，提升频率感知表征能力。
• 在二维卷积后对频率维度执行平均池化，以降低维度，为后续时间处理做准备。
• 实现一个带有广播残差连接的残差块，将一维残差特征扩展至与二维输入形状一致，支持恒等快捷连接学习。
• 通过通道宽度乘以缩放因子τ，设计可扩展的BC-ResNet系列网络，实现对不同设备资源的自适应。
• 使用带有1×1卷积的过渡模块改变通道维度，且不使用恒等快捷连接，提升网络架构灵活性。

实验结果

研究问题

• RQ1 与纯一维或二维方法相比，混合一维与二维卷积的方法是否能在降低计算成本的同时提升关键词检测的准确率？
• RQ2 所提出的广播残差学习机制是否能有效结合一维与二维卷积的优势，且不增加模型复杂度？
• RQ3 与标准批量归一化相比，子谱归一化（SSN）在低资源关键词检测中能带来多大性能提升？
• RQ4 通过调整通道宽度实现的BC-ResNet可扩展性，在不同硬件约束下对准确率与效率的影响如何？
• RQ5 所提方法是否能以显著更少的参数量和乘加操作数，实现SOTA性能？

主要发现

• BC-ResNet-1在Google Speech Commands v1上达到96.6%的顶级准确率，仅使用9.2k参数和3.1M MACs，优于基于一维的模型，参数量减少10.9倍。
• BC-ResNet-8在v1和v2数据集上分别实现SOTA的98.0%和98.7%顶级准确率，参数量为321k，MACs为89.1M。
• 采用SSN的模型比BN变体高出超过0.4%准确率；若同时移除SSN与二维残差组件，准确率显著下降。
• BC-ResNet-3在参数量减少13.7倍、MACs为16.2M的情况下，准确率超过SOTA的MHAtt-RNN模型。
• 如图1与图3所示，BC-ResNets在参数效率与MAC效率方面均持续优于其他方法。
• 使用最大池化而非平均池化进行频率降维时，准确率略有下降，但仍优于纯一维或二维模型，表明该框架具有强鲁棒性。