[論文レビュー] Interleaved Multitask Learning for Audio Source Separation with Independent Databases

Clement S. J. Doire, Olumide Okubadejo|arXiv (Cornell University)|Aug 14, 2019

Speech and Audio Processing参考文献 26被引用数 4

ひとこと要約

この論文は、共有エンコーダーとタスク固有のデコーダーを用いる、音声源分離のための入れ違いマルチタスク学習フレームワークを提案している。この手法により、すべての音源が各混合音声に含まれる必要がなく、独立したデータベースでの学習が可能となる。モデルは50%少ないパラメータで独立して学習されたモデルと同等の性能を達成し、推論効率が向上する。また、新しい音源タイプへの転移可能表現の提供も可能である。

ABSTRACT

Deep Neural Network-based source separation methods usually train independent models to optimize for the separation of individual sources. Although this can lead to good performance for well-defined targets, it can also be computationally expensive. The multitask alternative of a single network jointly optimizing for all targets simultaneously usually requires the availability of all target sources for each input. This requirement hampers the ability to create large training databases. In this paper, we present a model that decomposes the learnable parameters into a shared parametric model (encoder) and independent components (decoders) specific to each source. We propose an interleaved training procedure that optimizes the sub-task decoders independently and thus does not require each sample to possess a ground truth for all of its composing sources. Experimental results on MUSDB18 with the proposed method show comparable performance to independently trained models, with less trainable parameters, more efficient inference, and an encoder transferable to future target objectives. The results also show that using the proposed interleaved training procedure leads to better Source-to-Interference energy ratios when compared to the simultaneous optimization of all training objectives, even when all composing sources are available.

研究の動機と目的

• 音声源分離において、各音源ごとに個別に深層ニューラルネットワークを学習する際の計算的課題とデータ整備の課題に対処すること。
• すべてのターゲット音源が各学習混合音声に存在する必要がない、効果的なマルチタスク学習を可能にすること。
• 高い分離品質を維持しつつ、モデルパラメータを削減し、推論効率を向上させること。
• 共有エンコーダーの転移可能性を、ギター、ピアノなどの新しい音源分離タスクに対して検討すること。
• 入れ違い学習が、同時に最適化するマルチタスク最適化に比べ、音源分離品質において優れているかどうかを調査すること。

提案手法

• モデルは混合音声から共通の特徴を抽出する共有エンコーダーと、各音源（例：ボーカル、ドラム、ベース）に特化した独立したデコーダーを用いる。
• ネットワークは入れ違いの手続きで学習される：サブタスクのデコーダーが同時に最適化されるのではなく、逐次的に最適化される。これにより、各サンプルに1つの正例音源しか含まない独立したデータベースでの学習が可能になる。
• 入れ違い学習手順では、エンコーダーと他のデコーダーを固定したまま、各デコーダーを交互に更新することで、勾配干渉を軽減し、最適化の安定性を向上させる。
• 勾配方向の正規化問題が蓄積型バージョンで見られるのを避けるために、蓄積しない形式の入れ違い学習が用いられる。
• 共有エンコーダーは、高分解能層の特徴マップ数を増やすことで微調整され（エンコーダー+）、デコーダーのパラメータを増やさずに容量を向上させる。
• U-Netに類似たCNNアーキテクチャを用い、スキップ接続とマルチバンド処理を組み合わせ、1次元の音声スペクトログラムに適応している。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のデコーダーを備えた共有エンコーダー・アーキテクチャは、独立して学習されたモデルと同等の性能を達成できるか？
• RQ2 すべての音源が利用可能な状況でも、独立したデータベース上で入れ違い学習を実施した場合、同時に最適化するマルチタスク最適化を上回る性能を示せるか？
• RQ3 入れ違い最適化で学習された共有エンコーダーは、新しい音源分離タスクに効果的に転移可能か？
• RQ4 エンコーダーの容量を拡大（幅広い層にすること）することで、独立して学習されたモデルと比較して性能にどのような影響を与えるか？
• RQ5 入れ違い学習手順は、共有アーキテクチャにおけるモデル容量の低下が引き起こす性能低下を緩和できるか？

主な発見

• 提案された入れ違い学習手順は、独立して学習されたモデルと同等のSIRスコアを達成しており、非蓄積型バージョンが保存された確率的性質のおかげで蓄積型バージョンを上回っている。
• 約350万パラメータの共有エンコーダー・モデルは、合計約800万パラメータの4つの独立して学習されたネットワークと同等のSDRおよびSIR性能を達成している。
• 高分解能層でのエンコーダー幅の拡大（エンコーダー+）により、全ターゲットでSDRおよびSIRスコアが向上し、ドラム、ベース、その他の音源では独立して学習されたモデルを上回っている。
• エンコーダー+バージョンは、ドラム（7.43 dB 対 7.25 dB）、ベース（4.37 dB 対 3.8 dB）、その他の音源（2.25 dB 対 2.04 dB）で独立して学習されたモデルを上回るSIRスコアを達成しているが、ボーカルではわずかに劣っている（9.28 dB 対 9.35 dB）。
• 共有エンコーダー表現は転移可能であり、ギター、ピアノなどの新しい音源分離タスクの初期化として効果的に利用できる。
• この手法により、音源間のデータオーバーラップのない独立したデータベースが利用可能となり、混合音声ごとに全音源のアノテーションを必要としないため、学習データの可能性が著しく拡大される。