[論文レビュー] Broadcasted Residual Learning for Efficient Keyword Spotting

Byeonggeun Kim, Simyung Chang+2 more|arXiv (Cornell University)|Jun 8, 2021

Speech and Audio Processing参考文献 28被引用数 8

ひとこと要約

本稿では、周波数方向の平均化とブロードキャストを用いて1次元時系列および2次元周波数-時系列畳み込みを組み合わせる、新たな方法であるブロードキャスト残差学習を提案する。この手法により、効率的で高精度なキーワード検出が実現され、BC-ResNetアーキテクチャは、Google Speech Commands v1およびv2でそれぞれ98.0%および98.7%のトップ1精度を達成し、パrameter数と計算量を最小限に抑える。

ABSTRACT

Keyword spotting is an important research field because it plays a key role in device wake-up and user interaction on smart devices. However, it is challenging to minimize errors while operating efficiently in devices with limited resources such as mobile phones. We present a broadcasted residual learning method to achieve high accuracy with small model size and computational load. Our method configures most of the residual functions as 1D temporal convolution while still allows 2D convolution together using a broadcasted-residual connection that expands temporal output to frequency-temporal dimension. This residual mapping enables the network to effectively represent useful audio features with much less computation than conventional convolutional neural networks. We also propose a novel network architecture, Broadcasting-residual network (BC-ResNet), based on broadcasted residual learning and describe how to scale up the model according to the target device's resources. BC-ResNets achieve state-of-the-art 98.0% and 98.7% top-1 accuracy on Google speech command datasets v1 and v2, respectively, and consistently outperform previous approaches, using fewer computations and parameters. Code is available at https://github.com/Qualcomm-AI-research/bcresnet.

研究の動機と目的

• リソース制限のあるエッジデバイス上で、モデルサイズと計算コストを最小限に抑えながら、高精度なキーワード検出を達成する課題に対処すること。
• 純粋な1次元または2次元畳み込みの限界を克服すること：1次元畳み込みは周波数変換不変性を欠くが、2次元畳み込みは高い計算コストを要する。
• さまざまなデバイスのリソース制約に適応可能な、軽量でスケーラブルなニューラルネットワークアーキテクチャを設計すること。
• 1次元と2次元畳み込みの長所を組み合わせる新しい残差接続メカニズムにより、効率的な特徴学習を可能にすること。

提案手法

• 2次元特徴を周波数次元に沿って平均化して1次元時系列特徴を生成し、それらを1次元時系列畳み込みで処理した後、再び2次元にブロードキャストして残差接続を実現する、ブロードキャスト残差学習を導入する。
• 周波数グループを個別に正規化するため、周波数深度可変畳み込みに続くSubSpectralNorm（SSN）を用いることで、周波数に敏感な表現を向上させる。
• 時系列処理の前に、2次元畳み込みの後に周波数次元に沿って平均プーリングを適用して次元削減を行う。
• 1次元の残差特徴を2次元入力形状に拡張するブロードキャスト残差接続を備えた残差ブロックを実装し、アイデンティティショートカット学習を可能にする。
• チャンネル幅をスケーリング係数τで増加させることで、BC-ResNetsというスケーラブルなネットワークファミリーを設計し、異なるデバイスリソースに適応可能にする。
• アイデンティティショートカットを含まない1×1畳み込みを用いたトランジションブロックを実装し、アーキテクチャの柔軟性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1次元と2次元畳み込みのハイブリッドアプローチは、純粋な1次元または2次元手法と比較して、計算コストを低減しつつキーワード検出の精度を向上させることができるか？
• RQ2 提案されたブロードキャスト残差学習メカニズムは、モデルの複雑さを増さずに1次元と2次元畳み込みの利点を効果的に組み合わせることができるか？
• RQ3 低リソースキーワード検出において、標準バッチ正規化と比較してSubSpectralNormを用いることで、性能がどの程度向上するか？
• RQ4 チャンネル幅の調整によるBC-ResNetのスケーラビリティは、さまざまなハードウェア制約下で精度と効率にどのように影響を与えるか？
• RQ5 提案手法は、既存のモデルと比較して顕著に少ないパラメータ数と乗加算演算数（MACs）でSOTA性能を達成できるか？

主な発見

• BC-ResNet-1は、Google Speech Commands v1で96.6%のトップ1精度を達成し、パラメータ数がわずか9.2k、MACsが3.1Mで、10.9倍少ないパラメータ数で1次元ベースのモデルを上回る性能を示した。
• BC-ResNet-8は、v1およびv2データセットでそれぞれ98.0%および98.7%のトップ1精度を達成し、321kパラメータと89.1M MACsを用いた。
• SSNを用いたモデルはBNバージョンを0.4%以上上回り、SSNと2次元残差部を両方削除すると顕著な精度低下が生じた。
• BC-ResNet-3は、13.7倍少ないパラメータ数と16.2M MACsで、SOTAのMHAtt-RNNを上回る精度を達成した。
• 図1および図3に示すように、BC-ResNetsはパラメータ数当たりおよびMACs当たりの精度において、他のアプローチを一貫して上回った。
• 周波数次元の次元削減に最大プーリングを使用した場合、わずかに精度が低下したが、依然として純粋な1次元または2次元モデルを上回り、フレームワークのロバスト性を示した。