[論文レビュー] Semi-supervised learning using teacher-student models for vocal melody extraction

Sangeun Kum, Jing-Hua Lin+2 more|arXiv (Cornell University)|Aug 14, 2020

Speech Recognition and Synthesis参考文献 36被引用数 16

ひとこと要約

本稿では、限られたラベル付きデータからのボーカルメロディ抽出を改善するため、教師-生徒モデルを用いた半教師付き学習フレームワークを提案する。大規模なラベルなし音声データを活用し、一貫性正則化を用いた反復的自己学習を行うことで、性能が顕著に向上し、最先端の結果を達成する。特に、適切なデータ拡張とラベルなしデータ選択を施したノイズあり生徒設定では、SOTAモデルと同等の性能を発揮する。

ABSTRACT

The lack of labeled data is a major obstacle in many music information retrieval tasks such as melody extraction, where labeling is extremely laborious or costly. Semi-supervised learning (SSL) provides a solution to alleviate the issue by leveraging a large amount of unlabeled data. In this paper, we propose an SSL method using teacher-student models for vocal melody extraction. The teacher model is pre-trained with labeled data and guides the student model to make identical predictions given unlabeled input in a self-training setting. We examine three setups of teacher-student models with different data augmentation schemes and loss functions. Also, considering the scarcity of labeled data in the test phase, we artificially generate large-scale testing data with pitch labels from unlabeled data using an analysis-synthesis method. The results show that the SSL method significantly increases the performance against supervised learning only and the improvement depends on the teacher-student models, the size of unlabeled data, the number of self-training iterations, and other training details. We also find that it is essential to ensure that the unlabeled audio has vocal parts. Finally, we show that the proposed SSL method enables a baseline convolutional recurrent neural network model to achieve performance comparable to state-of-the-arts.

研究の動機と目的

• 音楽情報検索におけるラベル付きデータの不足、特に専門家によるコストのかかるアノテーションを要するボーカルメロディ抽出の課題に対処すること。
• 大規模なラベルなし音声データを効果的に活用し、モデルの一般化性能と性能を向上させる半教師付き学習フレームワークの開発。
• ボーカルメロディ抽出の文脈において、異なる教師-生徒モデルの設定、データ拡張戦略、および学習イテレーションの有効性を評価すること。
• 分析-合成パイプラインを用いてラベルなし音声から大規模で合成されたテストデータを生成し、ラベル付きテストデータの不足を補うこと。

提案手法

• 事前学習済みの教師モデルが、ラベルなしデータにおける一貫性正則化を通じて生徒モデルを指導する教師-生徒フレームワークを採用する。
• 3つの教師-生徒設定（標準的生徒、一貫性正則化（ノイズあり生徒）、モデル distillation）を比較し、ノイズあり生徒が最も優れた性能を示した。
• ピッチシフトやタイムストレッチなどのデータ拡張技術を用いて、生徒モデルのロバスト性と一般化性能を向上させる。
• 反復的自己学習を実施し、生徒モデルを偽ラベル付きのラベルなしデータで再訓練する。性能は複数のイテレーションにわたりモニタリングされる。
• 大規模なテストデータは、マルチトラック音声からのピッチラベル抽出を目的とした分析-合成パイプラインを用いて人工的に生成される。これにより、多様で大規模なテストセットでの評価が可能になる。
• ベースラインの畳み込み再帰ニューラルネットワークは、提案されたSSL手法を用いて微調整され、最先端のモデルと同等の性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータの下で、教師-生徒型半教師付き学習フレームワークがボーカルメロディ抽出性能をどの程度向上させるか？
• RQ2 ノイズのある現実世界の音楽において、標準的、一貫性正則化、またはdistillationの各教師-生徒設定のうち、どの設定が最も優れた性能とロバスト性を発揮するか？
• RQ3 データ拡張、ラベルなしデータのサイズ、自己学習イテレーション数がモデル性能に与える影響は何か？
• RQ4 ラベルなし音声から生成された合成的大規模テストデータは、リソースが限られた状況におけるモデル評価の信頼性を向上させられるか？
• RQ5 単純なベースラインモデルが、提案されたSSL手法を用いることで、どの程度最先端レベルの性能に到達できるか？

主な発見

• 一貫性正則化を施したノイズあり生徒モデルは、2回の自己学習イテレーション後に平均全体正答率（OA）81.1%を達成し、他の設定を上回った。
• 提案されたSSL手法により、MedleyDB や AST218 などの複数のテストセットにおいて、ベースラインモデルのOAが4.5–8.5%向上した。
• AST218 のような困難なデータセットでは特に顕著な性能向上が見られ、複雑な音声ミキシングや多様なボーカル特性に対してもロバストであることが示された。
• 反復的自己学習により、2イテレーションまで性能が向上したが、それ以降は性能が頭打ちまたはわずかに低下した。これは、過剰なイテレーションによる誤り拡大のリスクを示唆している。
• この手法により、ベースラインの畳み込み再帰ニューラルネットワークが、MedleyDB や MIREX05 においても最先端のモデルと同等の性能を達成した。
• マルチトラック音声の分析-合成から得た人工的テストデータは、評価に有効であることが実証され、ラベル付きデータが少ない状況下での手法の信頼性を裏付けた。