[論文レビュー] Interpretable Convolutional Filters with SincNet

Mirco Ravanelli, Yoshua Bengio|arXiv (Cornell University)|Nov 23, 2018

Time Series Analysis and Forecasting参考文献 67被引用数 93

ひとこと要約

SincNet は、raw waveform から直接、学習可能で解釈性が高く、タスク適合したフィルタバンクを構築するために、パラメトライズされた sinc ベースの first-layer フィルタを持つ CNN を導入し、標準的な CNN と比較して話者認識・音声認識の収束を速め、性能を向上させる。

ABSTRACT

Deep learning is currently playing a crucial role toward higher levels of artificial intelligence. This paradigm allows neural networks to learn complex and abstract representations, that are progressively obtained by combining simpler ones. Nevertheless, the internal "black-box" representations automatically discovered by current neural architectures often suffer from a lack of interpretability, making of primary interest the study of explainable machine learning techniques. This paper summarizes our recent efforts to develop a more interpretable neural model for directly processing speech from the raw waveform. In particular, we propose SincNet, a novel Convolutional Neural Network (CNN) that encourages the first layer to discover more meaningful filters by exploiting parametrized sinc functions. In contrast to standard CNNs, which learn all the elements of each filter, only low and high cutoff frequencies of band-pass filters are directly learned from data. This inductive bias offers a very compact way to derive a customized filter-bank front-end, that only depends on some parameters with a clear physical meaning. Our experiments, conducted on both speaker and speech recognition, show that the proposed architecture converges faster, performs better, and is more interpretable than standard CNNs.

研究の動機と目的

• 波形ベースの音声モデルにおける解釈可能性を促進し、手作り特徴への依存を低減する。
• パラメトライズされた sinc 関数を用いて学習可能な帯域通過フィルタを実装する first-layer の畳み込みを提案する。
• 標準的な CNN に比べて、話者認識・音声認識タスクで収束を速め、精度を向上させる。
• 学習されたフィルタバンクが音声特徴へより解釈可能でタスクに特化していることを示す。

提案手法

• first-layer g[n, f1, f2] を、低域/高域カットオフの sinc ベースの差分から成る帯域通過フィルタとして定義する（式 3-4）。
• 各フィルタを 2 つのカットオフ (f1, f2) のみでパラメータ化し、リップルと減衰を制御する対称で窓付き（ハミング窓）設計を適用する（式 5-8）。
• 位相歪みを避け、計算効率を高めるためにフィルタを対称に制約する。
• SGD を用いて標準的な CNN パイプライン（プーリング、正規化、活性化、ドロップアウト）とタスク固有層に至るまで、全パラメータをエンド・トゥ・エンドで訓練する。
• カットオフを [0, fs/2] の範囲でランダムに初期化するか、メル尺度にインスパイアされた値で初期化し、低周波数側により多くのフィルタを割り当てる。
• クリーン／ノイズ条件下で、話者認識および音声認識タスク（TIMIT、Librispeech、DIRHA）で評価する。

実験結果

リサーチクエスチョン

• RQ1 Sinc 基盤の first CNN レイヤのパラメトリゼーションは、標準の学習可能 FIR よりも解釈可能でタスク関連なフィルタを生み出せるか。
• RQ2 SincNet は限られた学習データで、話者認識・音声認識において収束を速め、一般化性能を向上させるか。
• RQ3 学習されたフィルタバンクは、従来の CNN と比較してノイズや母音の形成音にどう適応するか。
• RQ4 sinc ベースのフィルタを用いる際のパラメータ効率と解釈可能性の実用的利点は何か。
• RQ5 SincNet は DIRHA データセットで示されたような遠距離話・ノイズ環境に対してロバストか。

主な発見

Task / Dataset	Model	Metric	Value
Speaker Identification	TIMIT	CER%	0.99 (DNN-MFCC)
Speaker Identification	TIMIT	CER%	0.86 (CNN-FBANK)
Speaker Identification	TIMIT	CER%	0.85 (CNN-Raw)
Speaker Identification	TIMIT	CER%	0.85 (SincNet)
Speaker Identification	Librispeech	CER%	2.02 (DNN-MFCC)
Speaker Identification	Librispeech	CER%	1.55 (CNN-FBANK)
Speaker Identification	Librispeech	CER%	1.00 (CNN-Raw)
Speaker Identification	Librispeech	CER%	0.96 (SincNet)
Speaker Verification	Librispeech	EER%	0.88 (DNN-MFCC)
Speaker Verification	Librispeech	EER%	0.60 (CNN-FBANK)
Speaker Verification	Librispeech	EER%	0.58 (CNN-Raw)
Speaker Verification	Librispeech	EER%	0.51 (SincNet)
Speech Recognition	TIMIT	CER%	18.3 (CNN-FBANK)
Speech Recognition	TIMIT	CER%	18.1 (CNN-Raw)
Speech Recognition	TIMIT	CER%	17.2 (SincNet-Raw)
Speech Recognition	DIRHA	CER%	40.1 (CNN-FBANK)
Speech Recognition	DIRHA	CER%	40.0 (CNN-Raw)
Speech Recognition	DIRHA	CER%	37.2 (SincNet-Raw)

• SincNet は、周波数応答が意味のある音声帯（例：フォーマント、ピッチ領域）に似たより解釈可能なフィルタバンクを学習する。
• SincNet は標準的な CNN よりも収束が速く、話者 ID タスク（例：TIMIT）でフレーム誤差率を低く抑え、LibriSpeech で競争力のある性能を示す。
• SincNet は第一層でのパラメータ数を著しく抑え（2F 対 F×L）、フィルタ長 L が大きくなっても効率的であり続ける。
• ノイズ条件下で、SincNet は訓練初期に有用な帯域に集中する前に、破損した帯域を迅速に避ける。
• 話者認証（Librispeech）において、SincNet は CNN ベースのベースラインよりも等エラー率（EER）が低く、コンパクトなフロントエンドでより識別力が向上している。
• 音声認識（TIMIT, DIRHA）では SincNet-Raw が CNN-FBANK および CNN-Raw のベースラインを上回り、遠距離話のシナリオでも優位である。