[論文レビュー] Speech and Speaker Recognition from Raw Waveform with SincNet

Mirco Ravanelli, Yoshua Bengio|arXiv (Cornell University)|Dec 13, 2018

Speech Recognition and Synthesis参考文献 29被引用数 28

ひとこと要約

この論文では、学習可能なローパスおよびハイパスのカットオフ周波数を備えたsinc関数を用いて最初の層のフィルタをパラメータ化することで、生の音声波形を直接処理する新しい畳み込みニューラルネットワーク、SincNetを紹介する。物理的解釈可能性を強制し、パラメータ数を削減することで、特にノイズ環境下でも、標準のCNNよりも収束が速く、性能が高く、計算効率に優れた結果が得られた。

ABSTRACT

Deep neural networks can learn complex and abstract representations, that are progressively obtained by combining simpler ones. A recent trend in speech and speaker recognition consists in discovering these representations starting from raw audio samples directly. Differently from standard hand-crafted features such as MFCCs or FBANK, the raw waveform can potentially help neural networks discover better and more customized representations. The high-dimensional raw inputs, however, can make training significantly more challenging. This paper summarizes our recent efforts to develop a neural architecture that efficiently processes speech from audio waveforms. In particular, we propose SincNet, a novel Convolutional Neural Network (CNN) that encourages the first layer to discover meaningful filters by exploiting parametrized sinc functions. In contrast to standard CNNs, which learn all the elements of each filter, only low and high cutoff frequencies of band-pass filters are directly learned from data. This inductive bias offers a very compact way to derive a customized front-end, that only depends on some parameters with a clear physical meaning. Our experiments, conducted on both speaker and speech recognition, show that the proposed architecture converges faster, performs better, and is more computationally efficient than standard CNNs.

研究の動機と目的

• MFCC や FBANK のような手作業で特徴を抽出したものを使用せずに、生の音声波形を直接処理できるニューラルアーキテクチャの開発。
• フィルタのパラメータ化による誘導的バイアスの導入により、高次元の生入力における深層ネットワークの学習の課題に対処。
• 最初の層のフィルタをsinc関数から導出されたバンドパス応答に制約することで、フィルタの解釈可能性と学習効率を向上。
• 標準的およびノイズ環境下での音声認識および話者認識タスクにおいて、提案アーキテクチャの評価。
• SincNetが収束速度、精度、計算効率の面で標準CNNを上回ることの実証。

提案手法

• SincNetは、標準の学習可能なFIRフィルタの代わりに、2つの学習可能なパrameter（ローパスおよびハイパスのカットオフ周波数）を用いてバンドパスフィルタを実装するパラメータ化されたsinc関数を採用。
• フィルタ応答は $ g[n,f_1,f_2] = 2f_2 \text{sinc}(2\pi f_2 n) - 2f_1 \text{sinc}(2\pi f_1 n) $ で定義され、物理的に意味のある、解釈可能なフィルタ形状を保証。
• 最初の畳み込み層は、これらのパラメータ化されたフィルタを生波形に適用し、トレーニング可能なパラメータ数を削減し、最適化の安定性を向上。
• 標準的なバックプロパゲーションを用いて、生波形上でエンドツーエンドにネットワークを学習し、TIMITおよびDIRHAデータセットで性能を評価。
• フィルタ応答を分析することで、ノイズやスペクトル歪みなどのタスク固有の特性にネットワークがどの程度適応しているかを評価。
• 生波形とFBANK特徴を用いた標準CNNと比較し、WER、PER、EERなどの指標を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 生波形を直接処理するCNNは、MFCC や FBANK のような手作業特徴を用いたモデルよりも優れた性能を達成できるか？
• RQ2 最初の層のフィルタをパラメータ化されたsinc関数に制約することで、学習収束性とモデル効率が向上するか？
• RQ3 DIRHAデータセットに見られるようなノイズやリバーブといった困難な条件下でも、SincNetはどれほど一般化できるか？
• RQ4 SincNetで学習されたフィルタは、破損した周波数帯域を避けるなど、タスク固有の信号特性をどの程度反映しているか？
• RQ5 sincベースの誘導的バイアスは、生入力を用いた場合でも、標準CNNを上回る性能を発揮するのに十分か？

主な発見

• TIMITデータセットでは、SincNetが17.2%の音素誤り率（PER）を達成し、生波形で学習したCNN（18.1%）およびFBANK特徴で学習したCNN（18.3%）を上回った。
• ノイズのあるDIRHAデータセットでは、SincNetが37.2%の語誤り率（WER）を達成し、CNN-RawおよびCNN-FBANKモデルの40.1%よりも顕著に優れた結果を示した。
• SincNetは標準CNNよりも収束が速く、1時間の学習後には破損した2.0–2.5 kHz帯域を回避するよう学習していたが、標準CNNはそれより時間がかかっていた。
• Librispeechにおける話者認証では、SincNetが1%未満の等誤り率（EER）を達成し、標準CNNよりも相対的に11%の改善を示した。
• SincNetで学習されたフィルタは解釈性が高く、ノイズの多い帯域を避けるなどのタスク固有の特性に適応していた一方で、標準CNNよりも広いスペクトルカバレッジを維持していた。
• SincNetの相対的性能向上は、ノイズ環境下（6%）でより顕著であり、クリーン環境下（4%）よりも高かった。これは、劣化に強い性能を示している。