[論文レビュー] A Streamlined Encoder/Decoder Architecture for Melody Extraction

Tsung‐Han Hsieh, Li Su+1 more|arXiv (Cornell University)|Oct 30, 2018

Music and Audio Processing参考文献 24被引用数 5

ひとこと要約

本論文は、ボトルネック層に非メロディ検出器を統合することで、後処理のバイナリゼーションを排除した簡素化された7層エンコーダ/デコーダネットワークを提案する。プーリングインデックスを用いた周波数局所化と、スコアマップに対するargmaxを活用することで、ボーカルおよび一般メロディデータセットで最先端の性能を達成し、アーキテクチャが著しく単純化され、手動のしきい値設定も不要となる。

ABSTRACT

Melody extraction in polyphonic musical audio is important for music signal processing. In this paper, we propose a novel streamlined encoder/decoder network that is designed for the task. We make two technical contributions. First, drawing inspiration from a state-of-the-art model for semantic pixel-wise segmentation, we pass through the pooling indices between pooling and un-pooling layers to localize the melody in frequency. We can achieve result close to the state-of-the-art with much fewer convolutional layers and simpler convolution modules. Second, we propose a way to use the bottleneck layer of the network to estimate the existence of a melody line for each time frame, and make it possible to use a simple argmax function instead of ad-hoc thresholding to get the final estimation of the melody line. Our experiments on both vocal melody extraction and general melody extraction validate the effectiveness of the proposed model.

研究の動機と目的

• 既存の最先端モデルと比較してモデルの複雑さを低減する、より単純で解釈可能なニューラルネットワークアーキテクチャの開発。
• ボトルネック層を通じてフレームごとのメロディ存在を直接推定することで、後処理における手動のしきい値設定の必要性を排除すること。
• エンコーダとデコーダ層の間でプーリングインデックスを伝達することで、セマンティックセグメンテーション手法にインspiredされた周波数局所化の精度を向上させること。
• 最小限のアーキテクチャ的複雑さで、ボーカルおよび一般メロディ抽出ベンチマークの両方で競争力のある性能を達成すること。
• 追加のバイナリゼーションステップを排除することで、エンドツーエンドの学習と推論を可能にし、モデルの信頼性と解釈可能性を向上させること。

提案手法

• エンコーダには3つの畳み込みおよびマックスプーリング層、デコーダには3つのアップコンボリューションおよびアンプール層を備えた7層のエンコーダ/デコーダアーキテクチャを採用する。
• エンコーダのマックスプーリング層から得られたプーリングインデックスを、対応するアンプール層に伝達することで、空間的および周波数的分解能を保持し、より良い局所化を実現する。
• ボトルネック層から分岐する別途のブランチが非メロディフレームの存在を予測し、単純なargmax操作によりしきい値設定なしに出力をバイナリ化可能となる。
• スコアマップ出力は、デコーダ出力と非メロディ予測を連結することで生成され、直接的にメロディラインの推定が可能となる。
• ボーカルタスクでは320バン、一般タスクでは400バンのCQTベースの時間周波数表現を用い、一般メロディタスクでは最終プーリング層に5×1のカーネルを採用する。
• 訓練は、教師あり学習に基づき、正解のバイナリF0マトリクスに対する交差エントロピー損失を用い、1枚のGTX 1080tiで20分未満で収束する。

実験結果

リサーチクエスチョン

• RQ1 複雑な残差ブロックやピラミッドプーリングを用いずに、顕著に簡素化されたエンコーダ/デコーダアーキテクチャが、メロディ抽出で最先端の性能を達成できるか？
• RQ2 エンコーダとデコーダ層の間でプーリングインデックスを用いることで、メロディ抽出における周波数局所化の精度が向上するか？
• RQ3 ボトルネック層に組み込みの非メロディ検出器を設けることで、後処理における手動のしきい値設定の必要性が排除できるか？
• RQ4 MedleyDBやADC2004のような多様なデータセットにおいて、提案手法は既存手法と比較して精度と頑健性に優れているか？
• RQ5 argmaxベースのバイナリゼーションの統合により、しきい値ベースの手法と比較して一般化性能が向上し、誤検出率が低下するか？

主な発見

• 提案モデルはMedleyDBボーカルメロディデータセットで83.7%の最高全体精度（OA）を達成し、DSMおよびLu & Suのモデルを上回った。
• MedleyDB一般メロディデータセットでは64.3%のOAを達成し、DSM（61.7%）を上回り、CRNN（64.3%）と同等の性能を示したが、はるかに単純なアーキテクチャを用いた。
• MedleyDBボーカルメロディではボイシング誤検出率（VFA）を13.3%まで低減し、DSMの48.7%およびLu & Suの22.4%と比較して、ノイズ抑制能力に優れたことが示された。
• 非メロディ検出器を搭載しないアブレーションバージョンではMedleyDBでOAが68.4%にとどまり、組み込み検出器が性能に果たす重要性を裏付けた。
• 全4つのデータセットで、5つの指標すべてにおいて、アブレーションバージョンより提案モデルが優れた性能を示し、非メロディ検出部の有効性を実証した。
• CFPをCQTに置き換えると、ボーカルメロディタスクでOAが約10%低下し、性能に与えるCFPベース表現の重要性を強調した。