[論文レビュー] Basic Filters for Convolutional Neural Networks: Training or Design?

Monika Dörfler, Thomas Grill+2 more|arXiv (Cornell University)|Sep 7, 2017

Neural Networks and Applications被引用数 4

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）における標準的なメルスペクトログラム前処理を、生音声に直接適用するアダプティブフィルタに置き換える手法を提案している。実験的・理論的結果により、学習されたフィルタに続く時間平均化が、従来のフーリエ変換に基づくメルスペクトログラムを上回ることを示している。特に、歌い声検出タスクにおいて、性能が向上している。

ABSTRACT

When convolutional neural networks are used to tackle learning problems based on music or, more generally, time series data, raw one-dimensional data are commonly pre-processed to obtain spectrogram or mel-spectrogram coefficients, which are then used as input to the actual neural network. In this contribution, we investigate, both theoretically and experimentally, the influence of this pre-processing step on the network's performance and pose the question, whether replacing it by applying adaptive or learned filters directly to the raw data, can improve learning success. The theoretical results show that approximately reproducing mel-spectrogram coefficients by applying adaptive filters and subsequent time-averaging is in principle possible. We also conducted extensive experimental work on the task of singing voice detection in music. The results of these experiments show that for classification based on Convolutional Neural Networks the features obtained from adaptive filter banks followed by time-averaging perform better than the canonical Fourier-transform-based mel-spectrogram coefficients. Alternative adaptive approaches with center frequencies or time-averaging lengths learned from training data perform equally well.

研究の動機と目的

• 固定されたメルスペクトログラム前処理をアダプティブフィルタに置き換えることで、時系列音声データに対するCNNの性能が向上するかどうかを調査すること。
• 理論的分析を通じて、学習可能なフィルタが適切に設計された場合、メルスペクトログラム係数を効果的に近似できるかどうかを特定すること。
• 標準的なメルスペクトログラムと比較して、学習可能な中心周波数または時間平均化長を有するアダプティブフィルタバンクの性能を評価すること。
• エンド・トゥ・エンド学習によるアダプティブフィルタの適用が、歌唱音声検出タスクにおける分類精度を向上させるかどうかを評価すること。

提案手法

• 固定されたフーリエ変換に基づくメルスペクトログラム計算を、生音声を直接処理するアダプティブフィルタバンクに置き換える手法を提案する。
• アダプティブフィルタの後に時間平均化を適用し、メルスペクトログラムのエネルギー集約特性を模倣する。
• 理論的分析により、適切に設計されたアダプティブフィルタが、メルスペクトログラム係数を近似的に再現できることを示す。
• 中心周波数および時間平均化ウィンドウのパラメータを学習可能なパラメータとして持つアダプティブフィルタバンクの特徴を用いて、CNNのエンド・トゥ・エンド学習を実施する。
• 同じCNNアーキテクチャを用いて、標準的なメルスペクトログラム入力との性能比較を、歌唱音声検出ベンチマークで実施する。
• 固定および学習可能なフィルタバンクパラメータを含む複数のアダプティブ構成を評価し、ロバストネスと一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 アダプティブフィルタは、CNNの有効な入力特徴として機能するほど、メルスペクトログラム係数を十分に近似できるか？
• RQ2 固定されたメルスペクトログラム前処理を学習可能なアダプティブフィルタに置き換えることで、時系列音声タスクにおける分類精度が向上するか？
• RQ3 中心周波数や時間平均化長を変更したさまざまなアダプティブフィルタの構成が、モデル性能にどのように影響するか？
• RQ4 アダプティブフィルタによる性能向上は、より優れた特徴表現によるものか、入力の変動に対してより不変性を持つからか？

主な発見

• 理論的分析により、アダプティブフィルタに続く時間平均化が、メルスペクトログラム係数を近似的に再現できることを確認した。
• 実験的結果により、時間平均化を伴うアダプティブフィルタバンクが、標準的なフーリエ変換ベースのメルスペクトログラムを上回ることを示した。
• 中心周波数や時間平均化長を学習可能なパラメータとして設定した構成は、最良の固定アダプティブフィルタ設定と同等の性能を達成した。
• フーリエ変換による前処理を一切不要とすることで、分類の成功確率が向上した。
• エンド・トゥ・エンド学習によるアダプティブフィルタの適用は、固定されたメルスペクトログラム入力よりも、一般化性能と特徴学習の質が向上した。
• 複数の実験設定において性能向上が一貫して得られたことから、アダプティブフィルタリング手法のロバストネスが裏付けられた。