[論文レビュー] TensorFlow Audio Models in Essentia

Pablo Alonso-Jiménez, Dmitry Bogdanov+2 more|arXiv (Cornell University)|Mar 16, 2020

Music and Audio Processing被引用数 1

ひとこと要約

本論文は、エッセンシア音声解析ライブラリへのTensorFlowディープラーニングモデルのC++ベース統合を紹介し、音楽タグ付けおよび分類のための事前学習済みCNNを用いた高速でリアルタイムの推論を可能にしている。主な貢献は、特にAudioSetで事前学習されたモデルを用いたトランスファーラーニングによって、従来のSVMベースのモデルに比べて一般化性能が顕著に向上したことである。

ABSTRACT

Essentia is a reference open-source C++/Python library for audio and music analysis. In this work, we present a set of algorithms that employ TensorFlow in Essentia, allow predictions with pre-trained deep learning models, and are designed to offer flexibility of use, easy extensibility, and real-time inference. To show the potential of this new interface with TensorFlow, we provide a number of pre-trained state-of-the-art music tagging and classification CNN models. We run an extensive evaluation of the developed models. In particular, we assess the generalization capabilities in a cross-collection evaluation utilizing both external tag datasets as well as manual annotations tailored to the taxonomies of our models.

研究の動機と目的

• エッセンシアのような音声解析ソフトウェアにおいて、従来の機械学習モデルに依存していたが、効率的でモジュラーなディープラーニング統合の欠如に応えること。
• 高性能なC++/Python音声解析フレームワーク内での、事前学習済みディープラーニングモデルのリアルタイムで計算効率の高い推論を可能にすること。
• トランスファーラーニングを活用して、限られた社内データセット上での音楽タグ付けおよび分類モデルの一般化能力を向上させること。
• 産業的および研究的応用に適した、音声特徴抽出（エッセンシア）とディープラーニング推論（TensorFlow）を接続する柔軟で拡張可能なパイプラインを提供すること。

提案手法

• リアルタイム推論を低メモリオーバーヘッドで実現するため、エッセンシアに新しいC++ベースのインターフェースを開発し、TensorFlowモデルの読み込みと実行を可能にした。
• リングバッファを用いたストリーミングモードを実装し、音声をチャンク単位で処理することで、リアルタイムおよび大規模バッチ処理をサポートした。
• 事前学習済みのVGG-IIモデル（AudioSetから取得）を固定特徴抽出器として使用し、小規模な社内データセット上で微調整することで、トランスファーラーニングを実装した。
• ジャンル、ムード、高レベルの音楽記述タスクのため、社内データセット上で複数のCNNアーキテクチャ（例：VGG-II）を訓練・評価した。
• モデルをエッセンシアの宣言的信号処理パイプラインに統合し、既存の音声特徴抽出ワークフローとのシームレスな統合を可能にした。
• 5分割交差検証と外部データセット（例：MTG-Jamendo-test）におけるクロスコレクション評価を用いてモデルを評価した。地面真理として手動アノテーションを用いた。

実験結果

リサーチクエスチョン

• RQ1 エッセンシアのようなC++ベースの音声解析ライブラリが、リアルタイム推論に効率的かつ柔軟に事前学習済みディープラーニングモデルを統合できるか？
• RQ2 大規模な事前学習済みモデル（例：AudioSet）を用いたトランスファーラーニングは、従来のSVMと比較して、小規模な社内音楽データセット上での一般化性能をどの程度向上させるか？
• RQ3 新しいディープラーニングモデルは、クロスコレクション評価において、既存のSVMベースの分類器をどの程度上回るか？
• RQ4 エッセンシアへのTensorFlow統合により、音楽情報検索分野における産業的デプロイメントに適したスケーラブルで低レイテンシの推論が可能になるか？

主な発見

• AudioSetで事前学習されたVGG-IIモデルは、クロスコレクション評価において、SVMベースラインおよび訓練から開始したモデルを上回る最高のバランス化精度を達成した。
• MTG-Jamendo-testの手動アノテーションサブセットでは、VGG-II（AudioSet）モデルがジャンル-dortmundタスクでバランス化精度0.48を達成したのに対し、SVMベースラインは0.19であった。
• ムード分類では、VGG-II（AudioSet）モデルがムード-acousticタスクでバランス化精度0.82を達成したのに対し、SVMベースラインは0.75であった。
• ボーカル／インストルメンタル分類のモデルは、手動テストセットでバランス化精度0.87を達成し、SVMベースラインの0.72を大きく上回った。
• 最小限のハイパーパramータチューニングで、手動アノテーションテストセットにおいて12のタスクのうち10でディープラーニングモデルがSVMより統計的に有意に優れた性能を示した。
• 音楽に特化して訓練されていないにもかかわらず、広範かつ多様なトレーニングデータを有するAudioSet事前学習モデルは、その大規模さのおかげで最先端の性能を達成した。