[論文レビュー] Autotagging music with conditional restricted Boltzmann machines

Michael Mandel, Razvan Pascanu+2 more|arXiv (Cornell University)|Mar 15, 2011

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 16

ひとこと要約

本稿では、音楽自動タグ付けのための2つの条件付き制限ボルツマンマシン（CRBM）アプローチを提案する。1つはタグ関係をモデル化することでSVMの性能を向上させるタグスムージングCRBMであり、もう1つは多値分類に一般化された判別的RBM（DRBM）であり、SVM、ロジスティック回帰、多層パーセプトロンを上回る性能を発揮する。DRBMは対蹠的勾配降下法で学習され、ループ付きベリーフプロパゲーションでテストされ、音声特徴量とタグ間の依存関係を同時にモデル化することで、3つのデータセットで最先端のAUCを達成した。

ABSTRACT

This paper describes two applications of conditional restricted Boltzmann machines (CRBMs) to the task of autotagging music. The first consists of training a CRBM to predict tags that a user would apply to a clip of a song based on tags already applied by other users. By learning the relationships between tags, this model is able to pre-process training data to significantly improve the performance of a support vector machine (SVM) autotagging. The second is the use of a discriminative RBM, a type of CRBM, to autotag music. By simultaneously exploiting the relationships among tags and between tags and audio-based features, this model is able to significantly outperform SVMs, logistic regression, and multi-layer perceptrons. In order to be applied to this problem, the discriminative RBM was generalized to the multi-label setting and four different learning algorithms for it were evaluated, the first such in-depth analysis of which we are aware.

研究の動機と目的

• ユーザー生成タグと音声特徴量を活用することで、音楽タグ付けにおけるコールドスタート問題を緩和すること。
• 複数のタグ間の依存関係をモデル化し、独立したタグ分類を越えること。
• 判別的RBMを多値分類に一般化し、音楽タグ付けにおける性能を向上させること。
• 多値分類用DRBMの学習に用いる4つの勾配近似法を評価・比較すること。
• タグ関係のモデル化が自動タグ付け性能を顕著に向上させることを示すこと。

提案手法

• 条件付きRBMを学習し、他のユーザーが付与したタグに基づいてユーザーのタグを予測することで、『スムージングされた』タグを生成し、後続の分類器の性能を向上させる。
• 音声特徴量から複数のバイナリータグの同時予測をモデル化することで、判別的RBMを多値分類に拡張する。
• 4つの学習アルゴリズムを評価する：対蹠的勾配降下法による最尤推定、最大擬似尤度法、平均場対蹠的勾配降下法、ループ付きベリーフプロパゲーション。
• エネルギーに基づく学習を採用し、ギブスサンプリングと変分推論を用いて計算不能な期待値を近似する。
• タグスムージングを前処理ステップとして適用し、SVM やロジスティック回帰のような従来の分類器の性能を向上させる。
• モデルの学習と推論は、勾配近似を用いた負の対数尤度の最適化を含み、ハイパーパrameterは検証セットを用いて調整される。

実験結果

リサーチクエスチョン

• RQ1 条件付きRBMによるタグ関係のモデル化は、SVMのような従来の分類器の音楽自動タグ付け性能を向上させることができるか？
• RQ2 標準的なモデル（SVM や多層パーセプトロン）と比較して、一般化された判別的RBMは多値分類の音楽自動タグ付けにおいてどの程度効果的か？
• RQ3 対蹠的勾配降下法、擬似尤度法、平均場法、ループ付きベリーフプロパゲーションのうち、どの勾配近似法が多値分類用DRBMの学習で最高の性能をもたらすか？
• RQ4 CRBMによるタグスムージングは、コールドスタート問題を軽減し、スパースまたはニッチな音楽アイテムにおける一般化性能を向上させるか？
• RQ5 さまざまな分類器はタグスムージングからどの程度恩恵を受けるか。また、タグ依存関係をモデル化しているにもかかわらず、なぜ一部の分類器（例：RBM）は恩恵を受けないのか？

主な発見

• 対蹠的勾配降下法で学習し、ループ付きベリーフプロパゲーションでテストした判別的RBMが、すべてのデータセットで平均AUCが最も高く、SVM、ロジスティック回帰、多層パーセプトロンを上回った。
• MTurkデータセットでは、200のタグのうち183個でDRBMがすべてのベースラインを上回り、下回ったタグよりも顕著に高い性能を示した。
• SVMの性能は、CRBMによるスムージング済みタグを前処理に用いることで顕著に向上したが、DRBMの性能を上回ることはできなかった。
• ロジスティック回帰とSVMはタグスムージングの恩恵を受けており、これらはタグを独立して扱うため、モデル化されたタグ関係から利益を得た。
• MLPはスムージングに対して混合した結果を示し、非線形表現によりすでに一部のタグ依存関係を捉えている可能性を示唆した。
• DRBMはハイパーパrameterの選択に対して頑健であり、学習およびテストの反復回数や、ループ付きベリーフプロパゲーションにおけるダミング係数の変更が性能にほとんど影響を与えないことがわかった。