[論文レビュー] LEAF: A Learnable Frontend for Audio Classification

Neil Zeghidour, Olivier Teboul+2 more|arXiv (Cornell University)|Jan 21, 2021

Music and Audio Processing参考文献 50被引用数 30

ひとこと要約

LEAFはメルフィルタバンクを置き換える完全に学習可能な音声フロントエンドを導入し、多様なタスクにおいて一貫してそれらを上回り、パラメータ数ははるかに少なくなります。

ABSTRACT

Mel-filterbanks are fixed, engineered audio features which emulate human perception and have been used through the history of audio understanding up to today. However, their undeniable qualities are counterbalanced by the fundamental limitations of handmade representations. In this work we show that we can train a single learnable frontend that outperforms mel-filterbanks on a wide range of audio signals, including speech, music, audio events and animal sounds, providing a general-purpose learned frontend for audio classification. To do so, we introduce a new principled, lightweight, fully learnable architecture that can be used as a drop-in replacement of mel-filterbanks. Our system learns all operations of audio features extraction, from filtering to pooling, compression and normalization, and can be integrated into any neural network at a negligible parameter cost. We perform multi-task training on eight diverse audio classification tasks, and show consistent improvements of our model over mel-filterbanks and previous learnable alternatives. Moreover, our system outperforms the current state-of-the-art learnable frontend on Audioset, with orders of magnitude fewer parameters.

研究の動機と目的

• 一般用途の音声分類において、手作りのメルフィルタバンクを学習可能なフロントエンドへ置き換える動機づけ。
• フィルタリング、プーリング、圧縮を学習する軽量でエンドツーエンドで訓練可能なフロントエンドを提案。
• 単一のLEAFフロントエンドが複数タスクでメルフィルタバンクや従来の学習可能なフロントエンドを上回ることを示す。
• 大規模Audiosetおよびマルチタスク設定へのスケーラビリティを示す。

提案手法

• フロントエンドを3つの学習可能なコンポーネント（フィルタリング、プーリング、圧縮/正規化）に分解する。
• 学習可能なフィルタリングのため、実部と虚部の対で表されるか、ガボールパラメータ化された複素値1-Dフィルタバンクを使用する。
• チャンネルごとのガウスローパスプーリングをDepthwise畳み込みとして適用する。
• 各チャネルの圧縮と正規化のために、学習可能なチャネル別エネルギー正規化の変種（sPCEN）を採用する。
• 8データセットで共有バックボーンエンコーダを用いてエンドツーエンドで訓練し、単一タスク・マルチタスク・Audioset設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 単一の完全に学習可能なフロントエンドが、幅広い音声分類タスクにおいて固定のメルフィルタバンクを上回ることができるか？
• RQ2 フィルタリング、プーリング、圧縮を同時に学習することは、マルチタスクおよび大規模設定で性能を向上させるか？
• RQ3 LEAFは、従来の学習可能なフロントエンド（例：Time-Domain filterbanks、SincNet）と、多様なデータセットおよび指標でどのように比較されるか？
• RQ4 チャネル毎の圧縮（sPCEN）が性能と頑健性に与える影響は？

主な発見

• LEAFは平均して8つの単一タスクデータセットにおいて、メルフィルタバンクおよび従来の学習可能フロントエンドを上回る。
• マルチタスク設定では、パラメータを共有しつつタスク間で最も良い総合性能を発揮し、すべてのタスクでベースラインと同等以上を達成。
• Audiosetでは、EfficientNetB0を用いたLEAFはメルフィルタバンクより高いd-primeを達成し、WavegramおよびSincNet系と比較して同等かそれ以上で、パラメータ数は遥かに少ない（例：LEAF 448 params 対 hundreds of thousands）。
• PCENベースの圧縮（特にsPCEN）は、メルとLEAFベースのフロントエンド双方で、対数圧縮よりも性能を著しく向上させる。
• LEAFはノイズ耐性を示し、劣化したSNR条件下でメルフィルタバンクを上回る。