[論文レビュー] Leveraging Hierarchical Structures for Few-Shot Musical Instrument Recognition

Hugo Flores García, Aldo Aguilar+2 more|arXiv (Cornell University)|Jul 14, 2021

Music and Audio Processing被引用数 11

ひとこと要約

本稿では、Hornbostel-Sachsなどの事前に定義された楽器階層（例：Hornbostel-Sachs）を用いて、プロトタイプネットワークに階層的損失とプロトタイプ集約を拡張することで、楽器分類のための階層的 few-shot 学習手法を提案する。この手法は、階層内の共有祖先を活用することで、訓練時に見られなかった楽器、特に zhongruan のようなレア楽器においても分類精度を向上させるとともに、誤りの深刻度を低減する。アーキテクチャの変更なしに、非階層的ベースラインを上回る性能を達成する。

ABSTRACT

Deep learning work on musical instrument recognition has generally focused on instrument classes for which we have abundant data. In this work, we exploit hierarchical relationships between instruments in a few-shot learning setup to enable classification of a wider set of musical instruments, given a few examples at inference. We apply a hierarchical loss function to the training of prototypical networks, combined with a method to aggregate prototypes hierarchically, mirroring the structure of a predefined musical instrument hierarchy. These extensions require no changes to the network architecture and new levels can be easily added or removed. Compared to a non-hierarchical few-shot baseline, our method leads to a significant increase in classification accuracy and significant decrease mistake severity on instrument classes unseen in training.

研究の動機と目的

• 訓練時に確認されていない楽器クラスにおける少データ学習による楽器分類を可能にすること。特に、多様な楽器カテゴリにおけるデータ不足問題に対処すること。
• 楽器分類学の階層的関係を活用することで、未学習楽器の分類性能を向上させるとともに、誤りの深刻度を低減すること。
• ネットワークアーキテクチャの変更なしに、階層的構造をプロトタイプネットワークに統合する手法を開発することにより、階層レベルの追加・削除を柔軟に行えるようにすること。
• Hornbostel-Sachs分類法とランダムツリーの両方を用いた階層構造の違いが、少データ学習性能に与える影響を評価すること。
• 意味のある階層的表現を学習するのを支援する、新しい重み付き階層的交差エントロピー損失の有効性を調査すること。

提案手法

• 本手法は、細分化されたサポート例から高レベルのメタプロトタイプへの集約を階層的クラスタリングに類似したプロセスで行うことで、プロトタイプネットワークを複数の粒度で計算することにより拡張される。
• 重み付き階層的交差エントロピー損失が導入され、損失は学習可能なパラメータ α でスケーリングされ、細分化または粗粒度分類を強調する。α ∈ {−1, −0.5, 0, 0.5, 1} である。
• 階層構造は木構造としてモデル化され、リーフノード（具体的な楽器）から親ノード（例：弦楽器など広いカテゴリ）へとプロトタイプが上向きに伝搬される。
• エピソード学習を用いてエンドツーエンドで訓練され、各エピソードでは N 個のクラスが選択され、各クラスに K 個のサポート例が含まれる。予測はプロトタイプとのコサイン類似度に基づいて行われる。
• 動的ボキャブラリー拡張が可能であり、新しい楽器クラスはわずかな例数で追加可能で、階層内の先祖関係を活用する。
• 標準的な階層として Hornbostel-Sachs 分類法が用いられるが、感度分析ではランダムツリー構造の評価も実施され、ロバストネスを検証する。

実験結果

リサーチクエスチョン

• RQ1 少データ学習に階層的構造を組み込むことで、未学習楽器クラスの分類精度を向上させるとともに、誤りの深刻度を低減できるか？
• RQ2 粗粒度および細粒度カテゴリを同時に強調する階層的損失関数は、平坦なマルチラベル交差エントロピー基準と比較して、より優れた一般化性能を示すか？
• RQ3 階層の選択（例：Hornbostel-Sachs と ランダムツリー）が、少データ学習性能および分布外楽器への一般化に与える影響は何か？
• RQ4 楽器階層内の共有祖先を活用することで、zhongruan のようなレア楽器をわずかな例数で分類する能力はどの程度向上するか？
• RQ5 性能向上は階層的構造そのものによるものか、それともランダムツリーでも同等の性能が達成可能か？

主な発見

• 提案手法は、西洋音楽データセットに十分に含まれないレア楽器である zhongruan において、F1スコアで相対的に +16.56% の向上を達成した。
• テストセットの24種類の楽器のうち18種類で、非階層的ベースラインを上回った。これは、多様な楽器タイプにわたる広範な一般化性能を示している。
• α = 1（細粒度クラスを強調）の階層的損失が最良の性能を示し、フラットなバイナリ交差エントロピー基準を著しく上回った。後者は深刻な性能低下を引き起こした。
• Hornbostel-Sachs 階層はランダムツリー構造を著しく上回った。'random-best' 階層は性能は一致したが、誤りの深刻度の一般化に失敗した。一方、'random-worst' では統計的に有意な性能低下（p < 0.005）が観察された。
• 階層的プロトタイプ集約と損失関数の組み合わせにより、未学習楽器クラスの分類精度が統計的に有意に向上し、誤りの深刻度も顕著に低下した。
• 本手法はロバストで拡張性に優れている。アーキテクチャの変更は不要であり、階層レベルの追加・削除も容易に行える。