[論文レビュー] Metric Learning vs Classification for Disentangled Music Representation Learning

Jongpil Lee, Nicholas J. Bryan+3 more|arXiv (Cornell University)|Aug 9, 2020

Music and Audio Processing参考文献 32被引用数 13

ひとこと要約

本稿では、マルチラベル音楽データにおける分離可能な音楽表現学習の文脈で、メトリック学習と分類の統一枠組みを提案する。分離と正規化を統合することで、著者らは分類ベースのモデルがほとんどのタスクでメトリック学習を上回ることを示しており、特にオートタギングにおいて最先端の性能を達成している。一方、類似度トリプレットのための内在的設計を有するため、メトリック学習はトリプレット予測において優れた性能を発揮する。

ABSTRACT

Deep representation learning offers a powerful paradigm for mapping input data onto an organized embedding space and is useful for many music information retrieval tasks. Two central methods for representation learning include deep metric learning and classification, both having the same goal of learning a representation that can generalize well across tasks. Along with generalization, the emerging concept of disentangled representations is also of great interest, where multiple semantic concepts (e.g., genre, mood, instrumentation) are learned jointly but remain separable in the learned representation space. In this paper we present a single representation learning framework that elucidates the relationship between metric learning, classification, and disentanglement in a holistic manner. For this, we (1) outline past work on the relationship between metric learning and classification, (2) extend this relationship to multi-label data by exploring three different learning approaches and their disentangled versions, and (3) evaluate all models on four tasks (training time, similarity retrieval, auto-tagging, and triplet prediction). We find that classification-based models are generally advantageous for training time, similarity retrieval, and auto-tagging, while deep metric learning exhibits better performance for triplet-prediction. Finally, we show that our proposed approach yields state-of-the-art results for music auto-tagging.

研究の動機と目的

• 分離可能な音楽表現学習の文脈において、メトリック学習と分類の関係を調査すること。
• 複数の意味的コンセプト（例：ジャンル、ムード、楽器）が同時に存在するマルチラベル音楽データへその関係を拡張すること。
• リtrieval、オートタギング、トリプレット予測などの下流タスクにおいて、分離表現学習の下で両パラダイムを評価すること。
• 正規化と分離を組み合わせた分類ベースのモデルが、実世界の音楽アプリケーションにおいてメトリック学習を上回ることを特定すること。

提案手法

• トリプレットベースのメトリック学習、プロキシベースのメトリック学習、分類ベースの学習の3つの学習パラダイムに分離を適用する統一フレームワークを提案する。
• 各意味的コンセプト（例：ジャンル、ムード）のための別々の部分空間を備えた共有エンコーダーネットワークを用いて埋め込みを抽出することで、分離を実現する。
• 類似度ベースのリtrieval性能を向上させるために、分類ベースのモデルに正規化層を適用する。
• 各曲が複数のタグに関連付けられるマルチラベルの監視を用いてモデルを学習し、タグを用いてメトリックおよび分類の目的をガイドする。
• ペairワイズ比較をクラスの重心との比較に置き換えることで、メトリック学習の高速化を図るプロキシベースのトレーニングを用いる。
• トレーニング時間、類似度リtrieval、オートタギング、トリプレット予測の4つのタスクでモデルを評価し、正規化および分離に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 マルチラベル音楽データに適用した場合、メトリック学習と分類ベースの表現学習は、性能および効率の観点でどのように比較されるか？
• RQ2 分離表現は、多様な音楽リtrievalタスクにおいて、メトリック学習および分類ベースのモデルの一般化性能を向上させるか？
• RQ3 分類ベースのモデルに正規化を組み込むことで、類似度ベースのリtrievalタスクにおける性能が向上するか？
• RQ4 トリプレット予測は、実世界の音楽リtrieval性能の妥当なプロキシであるか、それともそれらのタスクで最適化されたモデルが下流タスクで劣る性能を示すか？
• RQ5 統一フレームワークは、分離可能な音楽表現の文脈において、メトリック学習と分類の強みを効果的に比較・対比できるか？

主な発見

• 正規化と分離を組み合わせた分類ベースのモデルは、オートタギングタスクで最先端の性能を達成し、すべての先行ベースラインを上回っている。
• 分類ベースのモデルは、トレーニング時間、類似度リtrieval、オートタギングタスクにおいて、トリプレットベースのメトリック学習を顕著に上回っている。
• トリプレットベースのモデルは、トラック正則化を用いることで、特にトリプレット予測において最良の性能を示しており、このベンチマークにおける強みを裏付けている。
• プロキシベースおよび分類ベースのモデルは、トレーニング中に完全なマルチラベル監視を用いるため、トリプレット予測を除くすべてのタスクで優れた性能を示している。
• t-SNEの可視化による定性的な分析から、分離表現が特定の意味的次元（例：女性ボーカル、楽器）に沿って意味のあるクラスタリングを可能にしていることが確認され、分離性の妥当性が裏付けられた。
• 本研究では、特定の条件下でプロキシベースのトレーニングが理論的および実験的に分類ベースの学習と同等であることが示され、両者のパラダイム間の関係を強化した。