[論文レビュー] auDeep: Unsupervised Learning of Representations from Audio with Deep Recurrent Neural Networks

Michael Freitag, Shahin Amiriparian+3 more|arXiv (Cornell University)|Dec 12, 2017

Music and Audio Processing被引用数 123

ひとこと要約

auDeepは、音声からの教師なし表現学習のためのPythonツールキットで、再帰的系列-対-系列オートエンコーダを用い、スペクトログラムからの表現を生成し、最先端の音声分類手法に対して競争力がある。

ABSTRACT

auDeep is a Python toolkit for deep unsupervised representation learning from acoustic data. It is based on a recurrent sequence to sequence autoencoder approach which can learn representations of time series data by taking into account their temporal dynamics. We provide an extensive command line interface in addition to a Python API for users and developers, both of which are comprehensively documented and publicly available at https://github.com/auDeep/auDeep. Experimental results indicate that auDeep features are competitive with state-of-the art audio classification.

研究の動機と目的

• 手作り特徴量の代替として、音声の教師なし深層表現学習を動機づける。
• スペクトログラム列の時系列ダイナミクスを捉える再帰的な sequence-to-sequence オートエンコーダを開発する。
• 音声表現学習のためのオープンソースで TensorFlow ベースのツールキットを提供し、Python API とコマンドラインインターフェースを備える。

提案手法

• 入力系列を最終的な隠れ状態にエンコードする、RNN（LSTM/GRU）から構築された sequence-to-sequence オートエンコーダを実装する。
• エンコーダを訓練して、入力系列を再構成するデコーダを初期化し、平方根平均二乗誤差を最小化する。
• スペクトログラムを時系列として扱い訓練し、全結合層から固定長の表現を生成する。
• NetCDF データの取り扱い、オプションのメタデータ、評価用の組み込み分類器（MLPと LibLINEAR）を備えた使いやすいツールキットを提供する。
• 利用可能な場合は GPU アクセラレーションを活用し、モデルのトポロジー/パラメータを TensorFlow チェックポイントとして保存する。

実験結果

リサーチクエスチョン

• RQ1 音声スペクトログラムから学習した教師なしシーケンス・ツー・シーケンス表現は、音声分類タスクに対して競争力のある特徴を提供するか？
• RQ2 auDeep の表現は、音響シーン分類、環境音分類、音楽ジャンル分類などのタスクで、ベースライン手法や最新手法とどう比較されるか？
• RQ3 アーキテクチャの選択（例：層の数、RNN の型）が表現の質と分類性能に与える影響は？
• RQ4 auDeep の表現は、API、CLI、およびデータエクスポートオプションを介して、標準的な ML パイプラインに容易に統合できるか？

主な発見

• auDeep の特徴は、音声分類の複数のデータセットで最先端手法と競合する。
• auDeep は評価済みデータセットで、畳み込みニューラルネットワーク手法およびスパースコーディング手法と同等または上回るが、外部で事前学習済みモデルとの比較にはいくつか留意点がある。
• SoundNet はESC-10およびESC-50でより強力な性能を達成したが、auDeep はESC-10/ESC-50データのみで訓練されており（外部データで事前学習されていない）。
• ツールキットには同じフレームワーク内で学習表現を評価するための組み込み分類器（softmaxを用いたMLPとLibLINEAR）が提供されている。
• auDeepはオープンソースで、TensorFlow ベース、CPUのみまたはGPU加速実行をサポートし、データは NetCDF で扱い、CSV/ARFF へのエクスポートオプションを備える。